V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 44 days ago, the information mentioned may be changed or developed.
比如通过路由分发，简单任务给本地 Qwen 30B MoE ，复杂问题给云端 opus4.6/gpt5.3.等，这种场景实际效果如何呢？
听说 M5 PRO 这次本地跑大模型没有之前那么慢，如果是真的，这种混合架构靠谱吗，还是纯想多了？
 | 1 niubilewodev Mar 14 via iPhone 想多了。 本地跑太慢了。 |
 | 2 vcmt Mar 14 via Android 这样给你说吧，我朋友买了一台十几万的机器跑，结果还是觉得慢。 |
 | 3 YUX PRO  1 完全可以 我用的就是 https://ohmyopenagent.com/ Sisyphus 用 anthropic/claude-opus-4-6 max ，Oracle 用 openai/gpt-5.4 xhigh, Hephaestus kimi-for-coding/k2p5, 其余默认用本地的 qwen3.5 35b |
 | 4 beginor Mar 14 via Android 本地跑 zeta 做代码提示感觉还行，其它交给云端大模型 |
 | 5 oncethink Mar 14 说起来大家可能不信，这个时间点 mac 上 oMLX 配合 qwen3.5:35b-a3b 这样的 MoE 模型真的很丝滑，前提是得预留 20GB 的内存。 |
 | 6 nutting Mar 14 感觉不是慢的问题，尤其是符合那个什么 ai 接口规范的模型，本地好像都有问题，一旦要做些文件之类的操作就有 bug ，如果只是问答可以 |
 | 8 liujing906qd OP @YUX 请问你用的大概是什么样的本地环境呢？我在纠结于 MBP M5 PRO 24/48/64G ，大模型未来两年的发展可能维持住当前的模型大小的基础上提升能力，如果是这样，我可能会考虑 64GB ，但是确实有点贵了。24GB 据说跑 30B MOE 的模型还是很容易爆内存闪退。 |
| 9 liujing906qd OP @oncethink 是的。我最近通过 notebooklm 去聚合了一下外网的一些视频和文章，可能这真的是能兼容本地速度和云端精度的方案 |
 | 10 dilidilid Mar 14 我一直搞不懂你们为啥老幻想在移动设备上跑生产级的 LLM 呢，这么小的模型 token 都是白菜价 |
| 11 YUX PRO @liujing906qd 建议你买个 air 然后硬等 m5 mini/studio |
 | 12 loveumozart Mar 14 我怀疑 lz 是想给自己换新 mac 找一个理由 hhh |
 | 13 leozeeho Mar 14 跑本地模型写代码简直是自寻烦恼，那点内存跑容器都不是太够，还能跑 llm 。。。 |
 | 14 gigishy Mar 16 via iPhone 写代码，千问 30bmoe 的质量差了点，这个是关键。 硬件反而不是大问题。 |
 | 15 wobuhuicode Mar 16 本地的小模型我一般都用来做 cli 的。这样的好处是我不用记各种命令行。 |
Select Language