27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s.
准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
4 条回复 2026-04-26 09:46:29 +08:00
 | 1 putaosi 1 小时 27 分钟前 via iPhone 能用的太慢，快得太蠢 |
 | 2 cskeleton 53 分钟前 我是 M1Pro 32G ，实际测下来主要还是内存都不太够。 moe 测下来 gemma4-26b 也就差不多了，qwen3.6-35b 内存就很极限了，上下文拉不大，还不能开多了东西。 dense 模型我跑不动，速度太慢了。 |
 | 3 geekvcn 28 分钟前 via Android 本地模型没啥用，跑的起的太蠢，不蠢的本地跑成本更高。等 AI 模型相对成熟后 AI ASIC 普及吧 |
 | 4 fbu11 2 分钟前 不是降智，是 32G 也不太够，本地模型要带起来内存还得上，能带起来的，要么很拉，要么很慢 |
Select Language