
我已经问过 AI 了,已经把 onnx 模型进行了剪枝,进行了 int8 动态量化,开启了 cpu 多线程推理,速度由原来的 3s 优化到现在的 1.3s ,感觉到极限了,可是老板的要求是 500ms ,大佬快救救孩子
1 gargar 2025 年 12 月 7 日 让老板出钱换更好的 CPU 、GPU |
3 frayesshi1 PRO 可以推理加速啊 |
4 ns2250225 OP @frayesshi1 #3 怎么搞,求指导 |
5 |
6 ns2250225 OP @frayesshi1 好滴,我试试,感谢 |