开发了一款“比较智能”的苹果相册 APP，可以文搜图或者按人脸和地点快速查找照片

谁和你说没这功能的，能不能调研一下先？

@BiteDXH 但是很多时候搜不出来。

我比较担心隐私问题，应该都在本地吧。

刚看到介绍有写保护隐私，文件有点大，下了半天，可能也是我网的问题。

在用“寻隐”，一样的功能，看了 appstore 的版本记录，是 23 年 1 月发布的

@AOK123 #4 搜了一下居然早就已经开源了

在用 immich 服务器有独显 力大飞砖 虽然不能离线使用

5 、6000 可能体现不出什么差异。6 、7 万张试试看。

@BiteDXH 大哥我没说原生相册没有这个功能，我说的是对这些功能不满意 不好用，举个例子，你要找某个人在大理拍的所有照片，或者想直接搜“蓝天白云”来看相关照片，原生相册对我来说还是不太方便的

@9G 是在本地，就是本地塞了几个模型用于分析人脸，支持文搜图，AI 消除这些功能，所以安装包稍微有点大

@AOK123 我看了下介绍（收费的所以没机会体验具体功能），这个 APP 功能好像是专注于文搜图，收费的还有一百多的评价，应该有过人之处。

@maizero 最开始想的是自己用，没有测试过这么多图片，几万张照片第一次启动分析可能比较耗时，分析完了搜索应该是快的，有本地向量存储引擎。但可能在其他功能上影响性能，但这么多照片不好搭测试环境，如果有这种多照片的用户反馈出了问题我再看看优化吧

@YsHaNg 您这是专业用户，普通用户可能不适合这种方案。

@jobives2023 我的懒猫微服、飞牛 NAS 上有 6T ，大概几十万张照片和视频，iCloud 上有 7 万 6 张照片（视频被我备份后删掉了，占地方），我在测试 AI 相册。

目前：
1 、懒猫微服的 AI 相册自然语言搜图效果最好，在 Intel 集成显卡下，能有这样的效果，很不错
2 、飞牛用增强模型，N 卡跑（ 2080TI 22G/P1000)效果会好一些
3 、我在等苹果自己的 AI ，希望在 Mac/iPhone 上有类似效果

寻隐用过，不太好用……
可以试试你这个，不知道模型大小如何、推理速度在 iPhone15 Pro 效果如何

会考虑出 Mac 利用 m 芯片的算力不？

@maizero 思黛相册内部集成的是比较小的模型，所以才能在 iphone 上跑起来，就这我感觉已经是移动设备的极限了，你描述的这种场景算是很少见的了，手机端目前肯定是不行，太慢了。新款 Mac ，M2 以上的芯片估计能做，如果要做肯定要重构 mac 端的 UI ，目前我没有这个计划，做这么个应用还是比较耗时的。

怀疑你是国行烈士
你说的什么蓝天白云+大理的 ai 搜索，其实在 Apple Intelligence 里面有…

@MacsedProtoss 咋说呢，也算吧，不过去年发布思黛相册的时候其实国外版的 Apple Intelligence 也还没支持文搜图，为什么我还更新呢？有两个原因，第一是 Apple Intelligence 国行并不可用，第二是思黛相册不光有文搜图，还有比原生更易用的人脸搜索和地区筛选，有比原生更彻底的照片隐藏。可能是我帖子介绍的问题，让大家以为思黛相册只有文搜图功能，但我也不好意思说我做得有多好，毕竟这只是一个我根据个人兴趣开发的小应用，没有经过严格的大规模全量测试，所以不同环境的用户使用都可能会出 bug ，不过呢，还是希望给有需要的用户提供一些帮助吧，毕竟 APP 内 95%的功能都是可以费使用的。

我这边试了一下，系统自带的相册搜 [地点+天气+主体] 是没有问题的，照片数量目前是 49460 图片+3597 视频。不过我也确实一直觉得系统相册搜索的局限性很大，比方说可能“宝可梦手办”、“小米路由器”之类的特殊关键词（甚至动画角色的分类）如果可以搜索其实挺有用的。

所以我感觉 OP 的项目可能可以提供如何微调一个适用于《思黛相册》的模型的指南？这样社区也可以参与进来提高搜索体验。

7w 张照片闪退，分析人脸，每次都要重新加载的吗

@DIMOJANG 感谢建议，我看你提供的截图应该使用的是 mac 的相册吧，你提到的“宝可梦手办”或者“小米路由器”目前思黛相册使用的微型模型应该没办法区分具体品牌，不过应该可以搜到手办或者路由器，再通过相似搜索快速找到。但 5 万张照片第一次全量分析时可能会出性能问题。文搜图用的是开源的 CLIP 模型（由 apple 团队提供的移动设备版），并未做微调，对于照片数量这么多的场景，我这边目前暂无测试环境（我还用的是 iPhone 14 Pro 128G 版本，暂时没办法搞这么多照片），如果反馈问题的用户较多我会搭建一个 5 万张照片的测试环境进行优化。

@8G 感谢反馈，首先回答你的问题，目前首次加载的流程是，先编码所有图片既然你能进入主页，说明这一步成功了），进入主页之后会进行一次人脸的全量分析，这一步比较消耗资源，然而手机的性能比较有限，所以这一步也最容易出问题，因为模型会对每张照片进行人脸检测和归类，全部分析只进行一次，但如果被中断就不算完成，所以如果第一次未成功，后续打开仍然会进行人脸分析，您当前由 7w 张照片，我这里目前没有测试过这么多照片的情况。
然后，您是否可以提供使用的设备型号，如果可能的话，您可以将崩溃报告发送给我（这不会包含任何您的隐私信息）以帮助我分析崩溃原因，具体位置在 设置-隐私与安全性（滚动到底部）- 分析与改进 - 分析数据 ，搜索 StyartPhoto 相关标题的文件（如果有），点击右上角的分享即可邮件发送给我。
这么多照片要保持稳定确实有点难，不过如果在我能力范围之内，我会尽量解决。

@jobives2023 对了，如果您愿意发送崩溃报告，请发到邮件 [email protected]

@jobives2023 对了，如果您愿意发送崩溃报告，请发到邮件 [email protected]

@jobives2023 好，我等下发，还有一个问题是点人脸，然后下拉的时候会疯狂抖动

@jobives2023 三个文件发到这里了 希望有帮助

几年前用过好像叫寻隐的，也就 v2 的人开发的，但是我用的是美区的，然后那个 APP 还分外区和国区，然后外区还只能用英文搜索，然后用了几次就懒得用了。这种类型模糊搜索如果做好了我觉得还是有前景的，尤其照片比较多的场景，我的也有五六千照片了，建议 op 可以好好优化做大做强

@8G 邮件已收到，感谢，点每个人脸都会抖动还是个别特定人脸呢？

@aero99 上面的朋友也提到了这款应用，我看了一下，对于文搜图这个功能应该和我不谋而合，都是利用开源的 CLIP 模型进行构建的，他貌似做的比较早，好像确实收获了不少用户，应该做得比较好吧。做大做强不敢说，但还是希望自己做的产品给用户带来便利而不是带来麻烦，所以只要用户反馈的问题在我能力范围内，还是会尽力解决的。

@8G 我仔细分析了日志，有了大致定位问题的方向，请问是在哪个页面崩溃的？是主页进行人脸分析的过程中还是其他地方？

@jobives2023 个别特定人脸，就是那个熊猫脸的表情包，可能只有几张，一滑动整个 view 就疯狂抖动。还有我发现有个别小朋友的侧脸单独被识别成一个人。

奔溃就是一开始加载的地方，是主页进行人脸分析的过程

@9G 好的，感谢反馈，我争取下个版本修复这些问题。

@jobives2023 #8 但是你说的不是“例如我想快速查找证件照片或者快速查找在某个地方拍的照片，再或者想快速查找某人相关的照片，原生相册几乎只能凭记忆翻找”吗？
“几乎只能凭记忆翻找”？你原话说的功能都完全自带相册实现以比还可以的准确率实现了。和你说的差距那么大，当然会以为你跟本就不知道有这些功能呀？

@labdum 好好 我的，我表达的问题，国行版的 iPhone 其实现在并没有集成语义搜索（文搜图），我推断他们现在的实现方式是按分类模型来的，所以只能支持一些常见的分类单词。当然并不是他们做不了，思黛相册集成的模型也出自 apple 对于移动设备的改良版本，估计是原生相册需要考量的因素太多，为了兼容以及当地政策这些原因。思黛相册的目标不是比原生相册做的更加大而全，也不可能比原生相册做得好，而是集中在几个可能能给用户带来更多便利的小功能上。没能帮到你，也是很遗憾。

搜了下，真的是够贵的，感觉是为了富哥准备的 App 。

初次使用索引段就退，重多次均法完成，型 16PM ，系 18.6.2

@Daniel0829 95%的功能是免费的

@sylarchang 你好，请问您的相册大概多少张照片？如果可能的话，您可以将崩溃报告发送给我（这不会包含任何您的隐私信息）以帮助我分析崩溃原因，具体位置在 设置-隐私与安全性（滚动到底部）- 分析与改进 - 分析数据 ，搜索 StyartPhoto 相关标题的文件（如果有），点击右上角的分享即可邮件发送给我。邮件地址 [email protected]

老哥用的什么模型，能分享一下吗，我也是 iOS 开发者 目前也在做一个相机应用

@Leronron 文搜图用的 apple 优化版的 CLIP 模型，橡皮擦用的 lama ，人脸识别模型不方便透露，因为并不是开源模型。

@jobives2023 #27 嗯，你的 APP 比他多了隐私相册功能。苹果的国行 AI 相册相关功能要到 25 年底了，建议差异化增强一些特色，加油

@jobives2023 给图片打分 给用户推荐拍的比较好的照片用什么模型

@jobives2023 Apple 发布的模型都是 apple-amlr 许可协议，里面提到不能用于商业开发和产品开发用途，仅限用于学术研究。我以前也想用在自己的项目里，仔细研究了一下，发现有法律问题……

@ShadowPower 看了一下还真是，不过 CLIP 模型非常成熟且最初的 OpenIAI 版本是可以商用的 MIT 协议，且有众多衍生版本，如果真的想要一个非常干净的版本，可以寻找其他无风险衍生版本转换成 coreml 格式。

@Leronron 这个可以我之前也找过，没找到不错的，你要是有思路我们可以讨论，我试过的里面最可行的是直接 API 用多模态大模型，本地的几乎没有可用的。