wwhc's recent timeline updates wwhc's recent timeline updates | wwhcV2EX member #145809, joined on 2015-11-05 06:54:06 +08:00Today's activity rank 6076 |
| Taalas 推出首款专用 ASIC 加速卡 声称实现亚毫秒级推理 分享发现 wwhc Feb 23 Lastly replied by 7gugu | 2 |
| Marie Fredriksson 去世了，流行音乐黄金时代的代表乐队 Roxette 不复存在 音乐 wwhc Dec 12, 2019 Lastly replied by KentY | 4 |
| 寻求中国境内网站开发合作伙伴 外包 wwhc May 1, 2018 Lastly replied by bingod | 4 |
wwhc's recent replies
13h 18m ago Replied to a topic by zhengfan2016 Local LLM 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
RX9070 对标 Nvidia Titan V 的 AI 推理性能
May 31 Replied to a topic by zhengfan2016 Local LLM 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
llama.cpp 的优化参数也很多，绝对性能目前可能仍不及 vllm 强，但可用性、易用性、可调性及部署能力都远强于 vllm
May 31 Replied to a topic by zhengfan2016 Local LLM 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
7900xtx 在 llama.cpp 下支持良好，推理时的预填充速度可能只比 4060ti 稍强，但 token 生成速度与 3090ti 相差不大
May 31 Replied to a topic by zhengfan2016 Local LLM 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
除非你是在为大公司或企业开发 AI 推理系统，建议使用 llama.cpp ，这是目前最好的 AI 推理框架
May 20 Replied to a topic by cwcc AI Agent 智能体 如果为了本地大模型，卖掉 MacBook Pro M3 Pro 36G，买Μ5 Max 128G，合适吗？ |
重度运行本地大模型的 Mac 要选用 M? Ultra ，即使是 M1 Ultra ，也强于任何世代的 Max 型号
Select Language