 | makictosV2EX 第 362179 号会员，加入于 2018-11-10 11:57:50 +08:00今日活跃度排名 3110PRO |
| 求小型企业的内网宽带认证方案 路由器 makictos PRO | 4 |
makictos 最近回复了
9 小时 10 分钟前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@coefu 多远不重要，但是对普通人来说，这是目前来钱最快的一条路之一。我也只是赚点钱的普通人。
9 小时 16 分钟前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@makictos https://docs.nvidia.com/dgx-basepod/deployment-guide-dgx-basepod/latest/introduction.html 首先把你的八台 DGX/HGX 上的 cx7 网卡全部连线到 ib 交换机上，之后把所有机器的网卡切到 ib 模式（如果存在 ES/QS/CS 卡片，需保证全部卡片必须为同一固件版本），然后打开 Subnet Manager ，如果你的机器没问题的话，这时候你应该就已经建立了一个简单的集群了（至少可以跑 nccl 了）
9 小时 25 分钟前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@mingtdlb 第一个问题，快速开展可以参考这篇文章
1 天前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@coefu 其次，懂这些是相当有必要的，在目前 tesla v100 sxm2 这种入门级卡片只要 600 元的市场下，如果个人购买百卡组小规模集群进行学习实践，可以有效提高你进入大厂的可能性。在目前的组内需求中，我们仍缺乏有经验的百卡/千卡工程师。
1 天前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@coefu 无意冒犯，我目前就职于你所说的大厂，也确实是 v2 少数能完整直接控制超大集群的工程师。回复此贴只是做技术解答。
4 天前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@mingtdlb 你想看哪些技术细节？目前想要做多机组网，对于小规模客户来说，其实 ib 就是成本最低的。因为有集群组网经验的技术年薪。。大概率高于一台 H200 整机。而且就算集群组网，也无法实现你把模型拖进去就能用，程序并不是原生就能做 nvl 多卡拆分的。
4 天前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
@coefu 多机器组全局 nvl 不是为了推理的，如果你需要强推理，有很多其他高性价比选择，比如说你说的 mi325x ，或者 intel 的 gaudi3 。全局 nvl 的核心主要在于多集群的训练，这个是 nv 独有的优势。
5 天前 回复了 mingtdlb 创建的主题 Local LLM 多台 GPU 之间怎么组网互联？ |
每台机器插八个 cx7 400g 网卡，然后三台机器走 48 口交换机做互联
16 天前 回复了 yukinotech 创建的主题 NVIDIA 为什么没有 5090 48g，只有 4090 48g？有没有懂行的朋友解惑一下 |
先问是不是，再问为什么。
问题不成立，48g 是有的，你把单颗 2g 的 gddr7 换成单颗 3g 的 gddr7 是可以直接引导的，但是因为供货量和成本问题，目前没有办法直接对外卖。
问题不成立，48g 是有的，你把单颗 2g 的 gddr7 换成单颗 3g 的 gddr7 是可以直接引导的，但是因为供货量和成本问题，目前没有办法直接对外卖。
Select Language