groq 上 oss20b 近 6000token 每秒的输出速度
已经是量变引起质变了
快了将近 100 倍
1 iwdmb 72 天前 |
2 iwdmb 72 天前 https://gpt-oss.com/ 官方测试渠道 |
3 YsHaNg 72 天前 可能要 hopper 以上更新架构的加速器 垃圾佬平台不如 qwen3:30b 上下文预分配内存以及 offload 效率很低 |
![]() | 5 jianyang 71 天前 gpt-oss 120b 推理加结果,token 吐字快到离谱 |
![]() | 6 xieqiqiang00 OP groq 我还看到有超过一万 token 每秒的 |
![]() | 7 xieqiqiang00 OP 120b 的版本在英伟达官方的数据里甚至能跑到 2 万 token 每秒每卡 |