这是一个创建于 149 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前正在预研一个低成本的识图方案，场景是家用安防摄像机的。
目前调研了有两个方向
一个是以 yolo 、aws rekonition 为代表的传统的 CNN 识图方案，
其中 yolo 面临的问题是现成的模型有标签不足够覆盖场景，要自己训练心里没底
直接用 aws rekonition 的成本很高，谈了折扣算下来也还是很高
传统方案有另一个弊端就是对于抽象的"词"无法理解,比如想要对"危险情况"做识别，只能分解到具体的事物，比如火焰、枪支、刀具等。
另一个是走大模型的识图方向
1. 自己部署开源模型，Qwen2.5 VL 系列和 Janus-Pro ，7B 和 32B 都试了，感觉效果不佳
2. 调 Api ，试了几家，发现 aws nova 在价格和效果上都很不错
我纯后端开发，计算机视觉和大模型方面是个小白
站内的大佬有在这方面有经验的吗，有什么经验可以分享一下，谢谢你~
目前调研了有两个方向
一个是以 yolo 、aws rekonition 为代表的传统的 CNN 识图方案，
其中 yolo 面临的问题是现成的模型有标签不足够覆盖场景，要自己训练心里没底
直接用 aws rekonition 的成本很高，谈了折扣算下来也还是很高
传统方案有另一个弊端就是对于抽象的"词"无法理解,比如想要对"危险情况"做识别，只能分解到具体的事物，比如火焰、枪支、刀具等。
另一个是走大模型的识图方向
1. 自己部署开源模型，Qwen2.5 VL 系列和 Janus-Pro ，7B 和 32B 都试了，感觉效果不佳
2. 调 Api ，试了几家，发现 aws nova 在价格和效果上都很不错
我纯后端开发，计算机视觉和大模型方面是个小白
站内的大佬有在这方面有经验的吗，有什么经验可以分享一下，谢谢你~
 | 1 kuro1 149 天前  1 YOLO 自己训练 |
 | 2 jimrok 149 天前 你这个方向不是图像识别和事态感知的内容吗，军工和自动驾驶行业的人能帮你判断一下吧。 |
 | 3 chanlk OP @kuro1 我看 YOLO 很多的应用场景在 B 端，聚焦的场景很单一，我们这个是家用的场景，用户可能放在卧室、客厅、户外都有可能，而且场景里会出现的物品和事件太多了，感觉很难弄一个通用的 YOLO 模型出来。 |
 | 5 lyxxxh2 149 天前 但是 api 不错,真的是实际场景图吗? 我用 grok chat,前几张好识别的,确实可以回答出来。 但是不好识别的,一样 gg 。 yolo: 安防数据集,算是挺常见的。 去网上找训练好的模型,让 ai 帮你测试。 数据集也行,自己训练下。 |
| 6 lyxxxh2 149 天前 https://docs.ultralytics.com/zh/guides/security-alarm-system/ 如果你找好了模型,自己都不用写什么代码,官方都有示例。 |
 | 7 hwdq0012 149 天前 安防一般不是用目标识别吧， 一般是移动侦测，姿态分析（摔倒） |
 | 8 monkeyWie 149 天前 最近不是有个 FastVLM 吗，很快运行条件也低 |
| 9 monkeyWie 149 天前 不对，是叫 smolvlm |
 | 10 wyntalgeer 149 天前 @chanlk #3 那就弄 N 个出来 |
 | 14 leven87 149 天前 自己训练最灵活，或者找一个别人的模型，自己调参 |
 | 16 sleeepyy 149 天前 gemini api 很便宜效果也不错 |
 | 18 xytest 149 天前 收藏一下 期待 小而美的解决方案 |
| 19 chanlk OP @wyntalgeer 有这么想过，但是怕弄出来效果也不好。 |
| 20 wyntalgeer 149 天前 @chanlk #19 玩 YOLO 不要想着一劳永逸，一开始效果注定不好，但是你要给一个“疑似”报警并收集下来，继续训。迭代久了就值钱了 |
 | 21 rockdodos 149 天前 Qwen 微调效果还行 |
 | 22 bluesenzhu 149 天前 摄像头厂家不是吹自己就能告警吗 |
 | 23 encro 149 天前 既然放在卧室，那么如何识别男女主人是在造人还是在家暴？ |
 | 24 clemente 149 天前 找海康威视贴牌 OEM |
| 26 chanlk OP @bluesenzhu 最早期移动侦测、声音告警，近些年有人体告警(装了红外感应)，或者有一些人体侦测算法集成在摄像机里。稍微复杂的识别摄像机带不动。 |
 | 29 wanghui22718 149 天前 https://www.corerain.com/solution 端侧解决方案，了解一下 |
 | 30 Liftman 149 天前 你这个还不够低。来。让我掏出来一个给你。https://github.com/apple/ml-fastvlm 500m 的小模型。我在 mac 上跑。100ms 一次解析都嫌慢。不过再快也没意义了。。毕竟看不清了已经。。。。 |
| 31 Liftman 149 天前 1 https://github.com/ngxson/smolvlm-realtime-webcam 用这个项目跑我楼上的模型比较简单。。 |
 | 32 zzhpeng 149 天前 实时分析好吃带宽，如果远端录像识别 |
 | 34 openmynet 147 天前 可以测试下用 clip 做零样本分类 |
 | 35 yuxian 146 天前 1 很简单，分为多部分。方便吹牛 B ； 1 ，在终端，使用通用的 YOLO ，嵌入端，可以用压缩好的模型。性能佳。无需训练。直接调用 sdk ，即可使用。作为泛用场景监控。只需要有疑似的图像，视频片段上传即可，精度可以自行根据严格模式调节。 2 ，在服务端，处理终端上传的疑似数据。优先使用自训练的 yolo 。对于依然无法确认的，可以调用视觉大模型，再次核对。如果依然无法确定结果的，人工接入审核。 |
 | 36 AmaQuinton 146 天前 项目上用过某个研究院提供的 api ，用于道路违停和火灾预警实时监测 |
| 38 chanlk OP @yuxian 终端暂时不考虑了，我们的设备有部分是第三方的。感觉还是直接上大模型算了了，我们人太少、资源不足搞不了 yolo ，这事儿从头到尾就我一个人干..... |
| 39 Liftman 146 天前 @chanlk 无所谓啊。https://github.com/ngxson/smolvlm-realtime-webcam 用这个项目跑我楼上的模型比较简单。。这个直接跑。不需要 mac 。 |
Select Language