V2EX makictos 的所有回复第 1 页 / 共 6 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6

4 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@coefu 多远不重要，但是对普通人来说，这是目前来钱最快的一条路之一。我也只是赚点钱的普通人。

4 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@makictos https://docs.nvidia.com/dgx-basepod/deployment-guide-dgx-basepod/latest/introduction.html 首先把你的八台 DGX/HGX 上的 cx7 网卡全部连线到 ib 交换机上，之后把所有机器的网卡切到 ib 模式（如果存在 ES/QS/CS 卡片，需保证全部卡片必须为同一固件版本），然后打开 Subnet Manager ，如果你的机器没问题的话，这时候你应该就已经建立了一个简单的集群了（至少可以跑 nccl 了）

4 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@mingtdlb 第一个问题，快速开展可以参考这篇文章

5 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@coefu 其次，懂这些是相当有必要的，在目前 tesla v100 sxm2 这种入门级卡片只要 600 元的市场下，如果个人购买百卡组小规模集群进行学习实践，可以有效提高你进入大厂的可能性。在目前的组内需求中，我们仍缺乏有经验的百卡/千卡工程师。

5 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@coefu 无意冒犯，我目前就职于你所说的大厂，也确实是 v2 少数能完整直接控制超大集群的工程师。回复此贴只是做技术解答。

7 天前

回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？

@mingtdlb 你想看哪些技术细节？目前想要做多机组网，对于小规模客户来说，其实 ib 就是成本最低的。因为有集群组网经验的技术年薪。。大概率高于一台 H200 整机。而且就算集群组网，也无法实现你把模型拖进去就能用，程序并不是原生就能做 nvl 多卡拆分的。