这是一个创建于 221 天前的主题，其中的信息可能已经有所发展或是发生改变。
144 总核心，512G 统一内存，819G/s 带宽，超越 M1 Ultra16.9 倍的 LLM 令牌生成速度，看起来是本地部署 LLM 的最佳利器？双机 EXO 或单机 INT4 即可部署 Deepseek 671B 全量模型？
 | 1 Donaldo 221 天前 exo 会让速度变慢很多。 |
 | 2 mumbler 221 天前 只是为了能跑的话，阿里云租一台 512G 内存 ECS ，一个小时几元钱而已，但慢得完全不可用 其实不用追求 671B ，按目前发展速度，明年 70B 或者 32B 就能达到现在 671B 的水平 |
 | 3 ajaxfunction 221 天前 @mumbler 阿里云的 512g 内存，和 mac 的 512g 内存不是一回事吧。 mac 是内存=显存， |
 | 4 mayli 221 天前 最佳指的是体积最小？ |
 | 5 whileFalse 220 天前  1 我来发表暴论：需要自己研究怎么部署 671B 的人，99%不需要本地 671B 。 |
 | 6 mandex 220 天前 怎么不是 M4 Ultra 啊？ |
Select Language