有点标题党,这个产品叫「寻隐」(英文版叫 Queryable),之前在 V 站推广过: t/905377, 因此这里不再赘述它的功能了,简单来说,它是一个离线的自然语言相册搜索工具,你可以用「一只狗在玩滑梯」来搜索你的 iPhone 相册,而不是搜单纯的“狗”,并且不联网。
昨天我把这个产品免费&开源了:App Store | Github | 网站
「将 CLIP 模型部署在手机上,用自然语言搜相册」这个 idea 源自于 2022 年 9 月,直到去年 12 月我才有空闲和能力完成,在今年的 2 月 7 日上了Hacker News 首页,让 Queryable 在当天占领了全部欧洲国家工具榜#1 ,美国工具榜#2 。
后续国内的果壳、差评、少数派的自来水曝光,让我从 1-3 月几乎每个月可以获得 1-2 万块的收入。因为运行在手机端,在不想添加新功能的情况下,也不需要维护和服务器成本。从 4 月份起,没有任何流量曝光、不做任何更新的情形下,平均每月大概可以获得 3000 元的收入。
我在前天限时免费了一次,很惊讶有很多人下载。我想,与其维持这样每月 3000 块的收入,可能阻止了 99%的人发现这个产品(用户数决定了关键词排序),不如让所有人都可以使用它,因此产生了「让它一直免费的念头」。
在昨天,我决定这么做了。
想起来过去半年,一直有用户对寻隐/Queryable 的相册隐私安全提出疑虑,很多美国人也天然反感中国开发者的产品,而另一些开发者也常常发邮件询问我技术方案。既然决定让产品免费,不如也一起开源了:你可以从了解如何做 LLM 模型的本地加载、向量计算、存储和排序。
因为我需要生存。 当时刚从之前的工作离开,我需要新的收入维持生计,并且缓解焦虑。 现在,我有了新的收入(虽然不多),焦虑感也降低了很多,因此才下定决心,帮助他人的想法战胜了对收入的依赖。
项目的协议是MIT,所以将这个 repo 用于商业产品使用是完全可行的,但是我不建议你换个 icon 上架 App Store ,或者类似的恶性竞争,你可以试试开发自己的 Android 版本。
我并非 iOS 工程师,所以代码里 Swift 的部分非常的烂,但你可以参考其中关于模型的部分。我希望它能帮你实现本地向量存储、搜索,这样对于短文本构建向量,可能也不需要 OpenAI Embedding API 了。如果你有想实现的功能,非常欢迎贡献 PR 。
另外,中文模型的训练使用了一些非公开语料,所以抱歉目前只公开了英文模型权重。
大半年后的一点心得:尽量不要将你的产品完全免费,至少象征性地收取一些费用。因为完全免费会导致当用户向你提交反馈/bug/建议时,你感到非常不耐烦(内心OS:免费给你用就不错了,还挑三拣四),并且几乎懒得更新产品。
适当的收费,会使你更心平气和地应对用户的意见、改进产品(相信我,你不是圣人),最终也能够让所有人用上打磨更好的产品,而不是疏于维护过几年死掉。
![]() | 1 Emyorii 2023-07-10 13:34:25 +08:00 via iPhone 大佬牛逼,支持 |
![]() | 2 Smilencer 2023-07-10 13:36:52 +08:00 大佬牛逼,学习! |
3 x1abin 2023-07-10 13:37:00 +08:00 感谢大佬分享!膜拜 |
![]() | 4 dassh 2023-07-10 13:40:16 +08:00 膜拜大佬 |
![]() | 5 vsitebon 2023-07-10 13:49:41 +08:00 ![]() 有决心将非生命末期的商业产品开源的人,令我佩服 |
6 wOuv7i4e7XxsSOR1 2023-07-10 13:50:03 +08:00 无私 |
7 tbg 2023-07-10 13:58:37 +08:00 格局很大,感谢分享 |
![]() | 8 liuliuliuliu PRO 厉害,自己训练的模型也包含吗 |
![]() | 9 SleepyRaven 2023-07-10 14:08:20 +08:00 为开源点赞 |
![]() | 10 abersheeran 2023-07-10 14:09:26 +08:00 下载试了试,应该是中文转了英文之后再搜索的。出现的结果让我有点尴尬 |
![]() | 11 wseani OP @nikenidage1 英文模型是公开的,中文模型训练数据是非公开的,所以模型无法以 MIT 协议开源。 |
![]() | 12 zhangsimon 2023-07-10 14:15:44 +08:00 瑞思拜 请教下大佬 Appstore 的评价只有 3 个 是累积评论只有 3 个吗?还是评论只展示最新 App 版本的 |
![]() | 13 wseani OP @zhangsimon 只是 中国区/Mac App Store 下的。 |
![]() | 14 liuliuliuliu PRO ![]() @wseani 厉害,后续可否写写文章介绍下训练模型这部分,我比较好奇 |
15 tuangouzi 2023-07-10 14:25:56 +08:00 膜拜大佬 |
![]() | 16 WngShhng 2023-07-10 14:32:38 +08:00 盈利模式是什么?谷歌相册不是有相同的功能吗? |
![]() | 17 wseani |
![]() | 18 lsming22 2023-07-10 14:37:37 +08:00 大佬牛逼,支持 |
19 vueli 2023-07-10 15:27:23 +08:00 |
![]() | 21 1gzNr 2023-07-10 15:39:47 +08:00 太帅了把 |
22 longbo666 2023-07-10 15:48:36 +08:00 ![]() 羡慕啊,我长大以后也想成为你这样的人。 (暂时忘记自己已经 30+的事实 |
23 littleBink 2023-07-10 15:49:46 +08:00 之前支持了,痛失 12 |
![]() | 24 idblif 2023-07-10 15:52:00 +08:00 via iPhone 赞格局 |
25 ffkjjj 2023-07-10 16:07:19 +08:00 首先为大佬点赞。 请问下,这个 App 对于开启了 优化 iPhone 存储空间 照片是怎么处理的。我尝试了一下,似乎结果不太准确。 |
![]() | 26 auv1107 2023-07-10 16:12:50 +08:00 ![]() 几个月前看到作者文章下载了少数派只为了关注作者,今天看到仍有收入的产品免费且开源,心里只有两个字,敬佩! |
27 JimmyRogue 2023-07-10 16:17:46 +08:00 感谢大佬 大佬牛逼 |
![]() | 28 maemolee 2023-07-10 16:20:22 +08:00 ![]() 大佬牛逼,之前付费支持了! |
![]() | 29 mervinmemory 2023-07-10 16:22:29 +08:00 为大佬点赞。 |
![]() | 30 wseani OP @ffkjjj 本地有缩略图就没问题,结果的准确性方面:试试长句,尽量不要用 1-2 个字的单词。而且个人实际使用上的感觉:准确率是一个不太重要的东西,我用它是为了搜脑海里已经有了的画面,输入描述句子,通常能在 top10 中找到想要的那张,就足够了。 |
![]() | 31 SWBMESSI 2023-07-10 16:35:52 +08:00 相册权限为 “选中的照片” 数量 300 张, 构建模型时显示:共有-1 张照片需要构建索引 为什么呢 |
![]() | 33 wseani OP @SWBMESSI 好像是 app 的 bug ,没有支持允许部分相册权限。如果是隐私疑虑,则不必担心(毕竟不联网),如果是只需要这么多,那确实不支持部分相册。可以卸载 App 、重装,然后允许访问全部相册。 |
![]() | 34 K1W1 2023-07-10 16:39:10 +08:00 via iPhone ![]() 应用不错,很早就付费入了 |
![]() | 35 huangjinjiang20 2023-07-10 16:43:59 +08:00 ![]() Android 版我已经上架 Google Play,详情看我的帖子: t/954758 |
36 ovtfkw 2023-07-10 16:51:58 +08:00 via iPhone 为啥我搜“护照”,出来的是一对屁股和胸部的图片呢 |
![]() | 37 wseani OP @ovtfkw 试了下,我的是正常的(第一张护照),你的手机是 iPhone X 系列吗?目前只支持 iPhone 11 及以上设备。 |
38 zycode 2023-07-10 17:01:36 +08:00 希望开源和免费能给大佬带来新的机遇 |
40 zhaoweihao 2023-07-10 17:09:30 +08:00 想请问下老哥的博客用的什么主题 看着好简洁好喜欢 https://mazzzystar.github.io/index.html |
![]() | 41 wseani OP ![]() |
![]() | 42 TheAlwaysHaveYou 2023-07-10 17:14:36 +08:00 via iPhone 支持大佬 |
44 ffkjjj 2023-07-10 17:23:29 +08:00 @wseani 您好,是我没描述清楚。我这里无论输入什么描述句子(中文),搜索出来的结果全都是一样的。我使用的是美区 Queryable |
![]() | 48 unneeded 2023-07-10 17:26:14 +08:00 支持大佬,下载试试看 |
![]() | 49 wseani OP |
50 ffkjjj 2023-07-10 17:35:41 +08:00 @wseani 您好,我使用 寻隐 App 进行搜索,结果也和 Queryable 表现一致。就是无论输入什么描述,结果都是同一组照片。iOS 版本为 17.0 beta 3 |
51 cs3230524 2023-07-10 17:47:03 +08:00 溜啊,什么时候才能像你一样优秀。 |
![]() | 53 est 2023-07-10 17:47:08 +08:00 这个牛批啊 |
![]() | 54 spicy777 2023-07-10 17:57:51 +08:00 瑞斯派,大佬牛逼 |
![]() | 55 AirBai2 2023-07-10 18:26:24 +08:00 真大佬 |
![]() | 56 saimax 2023-07-10 19:07:47 +08:00 via iPhone 瑞斯拜 |
57 yukinotech 2023-07-10 19:26:14 +08:00 瑞思拜 |
![]() | 58 yhxx 2023-07-10 19:29:44 +08:00 羡慕 格局 |
59 XiaoBaiYa 2023-07-10 19:45:42 +08:00 这个软件对于相册重度使用者的我,相当有用,才知道有这么一个 APP ,还是开源!大佬牛逼! |
![]() | 60 wellerman 2023-07-10 19:49:13 +08:00 赞一个 |
![]() | 61 houshengzi 2023-07-10 19:56:07 +08:00 赞一个,瑞思拜 |
62 iOCZ 2023-07-10 21:13:58 +08:00 前几天我自己写了一个 demo ,支持 iOS14 |
![]() | 64 bs10081 2023-07-10 21:31:41 +08:00 大佬有有考做一基於 Whisper 的入法啊?能使用的 |
![]() | 65 Nachtblut 2023-07-10 21:31:50 +08:00 via iPhone 支持一下 |
![]() | 66 dage 2023-07-10 21:40:06 +08:00 大佬牛逼 |
67 iOCZ 2023-07-10 21:46:03 +08:00 @wseani 我存储了特征向量。作为非专业 iOS ,写出目前这样的代码已经很不错了,photos api 让人看着其实挺头大的,SwiftUI 也有不少东西需要掌握。 |
68 hopeoffer 2023-07-10 21:59:56 +08:00 ![]() 两个月前研究过大佬这个项目,没想到开源了,很期待能讲解下模型本地化的问题 |
![]() | 69 putaozhenhaochi 2023-07-10 22:11:30 +08:00 via iPhone 大模型现在这么火,手机厂家是不是会很快内置这种功能 |
![]() | 70 woshinide300yuan 2023-07-10 22:22:26 +08:00 强势 |
![]() | 71 wseani OP |
![]() | 72 Jimson 2023-07-10 22:37:15 +08:00 啊,居然不支持 XR... 这是为什么 |
73 owen800q 2023-07-10 22:59:28 +08:00 很好用啊。支持一波 |
![]() | 74 waylife 2023-07-10 23:07:50 +08:00 6 哇,支持老哥 |
![]() | 75 kebamt 2023-07-10 23:22:44 +08:00 via iPhone 美区 App Store 会上线吗? |
76 iOCZ 2023-07-10 23:26:22 +08:00 尝试降低工程的系统要求,发现模型本身要求 iOS16 ,我直接用的 CLIP ,发现是 iOS14+就行了。不清楚楼主是怎么制作的。 |
78 Heisenbery 2023-07-11 02:50:38 +08:00 via iPhone ![]() 楼主文笔不错啊,“一次杀人”这一篇写得很有味道 |
![]() | 79 iluhcm 2023-07-11 06:16:48 +08:00 via iPhone ![]() 想法很棒。我最近的工作重点和 po 主类似,通过相似性语料向量召回的方式实现意图识别,embedding 模型用的是 large-chinese-text-v2 ,但没有想过把功能用于图片检索上。 |
![]() | 80 wseani OP @bs10081 明白了,你是指键盘扩展(keyboard extension),那样的确更方便,我也尝试了但 iOS 太菜没开发出来 : ( |
![]() | 81 wseani OP @iOCZ 两个考虑:1) iOS 16 对 Core ML 优化加速很大,因为之前是商业产品,所以为了确保花钱购买的人能用起来舒服,相比「让更多人用」而言,试图「让人用起来不崩溃/更流畅」,是一种对设备的反向筛选。2) 另一个是因为我参考了 Apple 的 Core ML 加载代码,只在 iOS 16.0 上生效。 不过既然免费了,兼容 16.0 以下也可以接受了,你可以提交 PR : ) |
![]() | 83 myfate 2023-07-11 08:27:21 +08:00 via iPhone 膜拜大佬 |
![]() | 84 Steaven 2023-07-11 08:35:31 +08:00 大佬牛逼 |
![]() | 85 izzy27 2023-07-11 08:39:44 +08:00 太牛了,学以致用 |
87 horizon 2023-07-11 09:01:52 +08:00 牛逼 |
![]() | 88 AweGod 2023-07-11 09:15:48 +08:00 大佬牛逼 |
![]() | 90 hustlzp 2023-07-11 09:31:16 +08:00 大佬牛逼 |
91 ningfan120 2023-07-11 09:33:08 +08:00 大佬牛逼,学习! |
92 ju0594 2023-07-11 09:33:55 +08:00 点赞! |
93 fengdechoulian 2023-07-11 09:38:07 +08:00 点赞 |
![]() | 94 VersionGod1 2023-07-11 09:50:10 +08:00 大佬牛逼! |
![]() | 95 seawavecau 2023-07-11 09:53:52 +08:00 真~大佬 |
![]() | 96 ivanyin 2023-07-11 10:02:10 +08:00 大佬牛逼 |
![]() | 97 weilanwl 2023-07-11 10:05:32 +08:00 而你!是我的英雄! |
98 weng1993 2023-07-11 10:05:50 +08:00 强无敌! star 了 |
![]() | 99 icemberry 2023-07-11 10:10:22 +08:00 感谢分享,fork 一份学习一下 |
100 HangoX 2023-07-11 10:17:09 +08:00 大佬,别完整开源呀,肯定会有人编译后上架市场的,有公司专门这样干的。 开源是好事情,但是我不希望看到你看到 appstore 的李逵后伤心 |