hughrover 最近的时间轴更新 hughrover 最近的时间轴更新 | hughroverV2EX 第 761229 号会员，加入于 2025-08-05 18:07:18 +08:00 |
hughrover 最近回复了
15 天前 回复了 a201483414 创建的主题 推广 [V 友专属｜ claude 模型中转站免费送 20 刀 已稳定运行一个月 支持 claude-opus-4-6 |
ccgogo 谢谢老板
2 月 25 日 回复了 pks 创建的主题 分享发现 白山云的 glm5 可以嫖一下 |
2 月 4 日 回复了 guojianwei 创建的主题 推广 评论抽奖，福利第三天，五常大米 |
分母
1 月 14 日 回复了 wyfig 创建的主题 Local LLM 本地大模型目前意义大吗？ |
以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。
Select Language