
70B 以下 32B 左右的
1 ntdll 14 天前 这种小模型的话,还不如用一下美团的垃圾模型( LongCat ),虽然垃圾,但是还是比这种小模型强多了。 整两三个手机号,一天的量足够了。 |
2 jark006 14 天前 参数量太小,知识量和智力都不行,coding 能力不如 Openrouter 那些无限白嫖的模型。 真生产力还得是 claude/gpt ,或国产的 GLM5.1/Qwen3.6plus ,其他模型就真的不建议用。 如果只想白嫖,目前 trea 国版或 opencode 还能白嫖一些不错的模型。 |
3 yulon 13 天前 30B 左右也就勉强做个文章概括 |
4 lujiaosama 13 天前 你不会想用的。质量不说,吞吐速度都受不了。 |
6 diudiuu 12 天前 可能会把你气死. 最简单做个对比 gpt5-mini 写代码已经很拉了,你觉得本地 32b 会有比正常训练的 gpt5-mini 好? |
7 coefu 11 天前 要用好,需要很多绝招。比较难搞,但也并不是搞不成。 用多个 agent 并行,并且改造成隐式推理,用 LatentMAS 技术( https://arxiv.org/abs/2511.20639 ,https://github.com/Gen-Verse/LatentMAS ),这个要改 模型的 transformer 架构,将 kvcache 流动起来,对显存也有挑战。 多个 agent 并行隐式推理,能保证速度,多个 agent 也能提升智能。 就算是 Qwen3.5-35B-A3B 的 BF16 ,也有 70GB 了,长 context 的 kvcache + LatentMAS 本身也要显存,估计单卡 128G ,可以搞。 |