这是一个创建于 680 天前的主题，其中的信息可能已经有所发展或是发生改变。
四块 NVIDIA TESLA P4 想跑 Meta 的开源大模型 Llama （ 有同好吗
 | 1 R4rvZ6agNVWr56V0 2023-12-04 02:33:11 +08:00  1 只能跑 LLaMA-7B |
 | 2 kanepan19 2023-12-04 09:40:15 +08:00 1 请教一下，用的什么板子能上 4 显卡？ |
 | 4 6m7 2023-12-04 10:31:17 +08:00 1 建议了解下超威系列的服务器主板，例如 x10 ，x11 这种的，尤其是 AMD 的 EPYC 平台 我有一张，超威的 intel 主板 x10dri ，7PCIE 插槽，但是通道比较少 而超威的 amd 主板，x11 之类的，8 条全通道 PCIE ，印象中是这样 海鲜市场里面也有很多选择，不管是二手的主板，还是超威的主机 |
 | 5 NoDataNoBB 2023-12-04 13:34:57 +08:00 1 这不得上个服务器？风扇嗡嗡嗡的那种 |
 | 6 Regened 2023-12-04 14:07:43 +08:00 1 @6m7 x10x11 偏贵，小黄鱼上现在联想 RD450 拆机双路才三四百，普通 E-atx 版型的 Epyc 通道是多，但架不住主板贵，通道齐全的基本都还在 2k+，低于 2k 都是服务器异型板普通机箱装不了 |
| 7 1 不太清楚跑 llm 模型对核心和内存大概是什么要求，不过既然捡 P4 了应该也不会有太高要求 如果只要 PCIe 通道多点的话就 C612 平台，联想 RD450 主板 300 ，E5v4 几十块 要考虑以后小升级的可以看新一点的 3647 平台，6 通道内存，pcie 也更多，cpu 现在也便宜了，还有比较偏门的澜起 cpu 不介意服务器噪音的话，浪潮 5212m5 现在很便宜，支持 4 条 x16 ，准系统 1k 出头 |
Select Language