我这也是, 63 小时活动时间, 122T 读取 36T 写入

https://i.imgur.com/uam9VAu.png

@wclebb 然后能做到的预算我头上就说了, 4bit 671b 跑到 10token/s 以上只需要 3w 预算而已

@wclebb 我哪里提到云 api 了, 我说的是权重, 没人说 mac 不能跑, 说的是 mac 跑性价比极低, 低价不如 ktransformers 方案低, 高吞吐性价比比正规方案差 10 倍以上

@wclebb 首先 4bit 671b 3w 就能跑到 10token/s 以上的速度, 然后 ds 官方的权重就是 8bit fp 的, 哪门子没有公开, 美团也公开了 8bit int 的权重, 并且合并了相应的更改到 sglang
你没去了解=没有

@newbeelity 这并不是什么问题, 主流推理框架全都正式支持至少一种并行方式, 而且都不必选依赖 nvlink 或者对应 GPU 的同等通信方式, exo 仅仅属于在 mac 社区里比较知名的简单山寨实现而已

@BernieDu 要求带宽的是 GPU 和自身显存之间的通信, 而 GPU 之间几乎只是每层(甚至可以是每 N 层)进行一次简单的中间状态交互, 带宽要求可以非常低

举例, 8 张 3060, Qwen2.5-72B 4bit 量化
promp prefill: 470token/s
decode bs=1: 37token/s
decode 高并发: 430token/s

(这几个数据对于 m4 max 而言是 ~50token/s, ~12token/s, ~30token/s)

https://i.imgur.com/Tr9FqiF.png
https://i.imgur.com/CSDIACm.png
https://i.imgur.com/T7kKqNQ.png
https://i.imgur.com/tfyILe7.png

@wy315700 一般是没有...但这个一般大概不包括真的把 mac 的内存当显存并据此认为价格合理的那些

@dlwlrm 除非你说的是推理而不是训练, 正常训练数据集预处理逻辑吃内存随随便便上百 G, 老黄给 gh200 配单节点 96G HBM3+480GB lpddr5x 这个比例足够体现主流需求的显存内存消耗占比了

@dlwlrm 我说的就是炼丹啊, 内存吃的远比显存多

不吹的人能现在就体验?

@terrysnake 什么专业计算卡会考虑往要供电没供电要驱动没驱动的 macpro 上插...

@dlwlrm 这多少自我 pua 了, 通常能用 20g 显存的项目跑起来少说得用个百来 g 内存

你说的这 4 点 "易上手；软件生态；全家桶；隐私"
就我的使用体验而言 易上手和软件生态 mac 是最烂的那一档, 还不如 ubuntu
全家桶确实还算好用
隐私不予置评

教我怎么用

纯吃灰，用了一阵就意识到没有任何实际的使用场景
想记笔记，很快就意识到记了也绝对不会翻出来看，完全就是伪需求
想看剧，端着手酸，小屏不如手机大屏不如躺着看显示器

灵动岛都能夸, 买椟还珠不过如此

你有没有想过一种可能性, 别人根本就不当厂家粉, 靠信仰坚持用垃圾的就那么一小撮人, 而靠信仰的那一部分果粉花着最多的钱用着最多的垃圾