这是一个创建于 270 天前的主题，其中的信息可能已经有所发展或是发生改变。
基于大模型要比较多的显卡资源，但一台服务器 pcie 插槽有限。
那大模型是怎么集群化的，比如部署 deepseek R1 671B，应该需要很多资源吧。我不知道多少，假设 10 台服务器，每台 3 块 RTX 4090 。
那它是怎么组成集群呢
 | 1 Tinet 270 天前 tensorflow 这些架构自带的吧 |
 | 2 erquren 270 天前 vllm 节点 组网 |
 | 3 marcong95 270 天前 有为这个需求特化的服务器主板不是都有 8 卡以上的 PCIe 插槽么，例如当年的矿机主板还有用 USB 3.0 物理接口走 PCIe x1 的骚操作，理论上你要能插 H100*8+也不是不行。 |
 | 5 zhazi 270 天前 NCCL ，英伟达提供了通讯库 简单理解成 mapreduce |
Select Language