实验室有卡，但是要排队，很多开发和测试不方便（租卡迁数据更不方便）。计划配一台家用的 AI 开发机，主要是跑 7B-32B 的 LLM 。因为住在租的房子里，所以对噪音和散热比较敏感。目前预算先上一张卡，未来可能升级双卡。现在对 GPU 的选择非常纠结，想听听大家的意见。
一、GPU 择：核心纠结点
选项 A：魔改版 RTX 4090 48GB
优点： 显存巨大 (48GB) 多卡兼容性：wsl2 下似乎可以多卡？只需要消费级主板？ 顾虑： 散热/噪音：涡扇版据说噪音巨大，不适合家用。可能要三风扇或水冷版。水冷长期可靠性（漏液风险）没底。 质保风险：没有官方质保，完全依赖店铺。看到有人炸缸，店铺进行了更换，但需要提供温度记录之类。
选项 B：RTX 5090 32GB
优点： 性能更强：下一代架构，核心性能肯定提升巨大。 家用友好：散热和噪音控制肯定比魔改方案好，适合家庭环境。 顾虑： 显存稍小 (32GB) 兼容性：看到有说法是“老模型可能用不了” 多卡兼容性：wsl2 下好像完全无法兼容多卡。且需要服务器级主板
我想问的问题：
- 为了处理 32B 模型，48GB 显存的优势是否大到值得去承担魔改卡的散热、噪音和质保风险？
- 有没有用过这类魔改大显存卡的兄弟，能分享一下实际的稳定性和使用体验吗？
- 后续希望可以直接在原机器上直接加卡，拓展成双卡。最好是 win 下能用，实在不行就换 ubuntu 系统。这种情况下 5090 和 4090 改哪个合适一点？
二、主板考量：未来可能升级双卡
想问的问题：
- 如果未来要上双卡（无论是两张 4090 还是 5090 ），主板选择上有什么关键点？
- 我看到一个说法是“5090 双卡需要两个 PCIe 5.0 插槽”，这个是必须的吗？还是说带宽足够的 PCIe 4.0 主板（比如能支持双 x8 模式）就够用了？
- 除了带宽，主要是不是应该关注两根 PCIe x16 插槽之间的物理空间，以保证两张卡的散热？
感谢各位的宝贵时间和建议！
 | 1 Ritter 2 天前 要我选肯定 5090 |
 | 2 bigtear 2 天前 看你的需求，感觉懒猫 AI 算力舱挺适合你的，我日常跑 qwen 和 comfyui 还可以，如果感兴趣可以搜一下，他们客服挺活跃。 |
| 3 bigtear 2 天前 如果不是刚需，建议等，因为接下来肯定各家都要上大显存的设备 |
 | 4 shenqi 2 天前 如果一定选，建议 5090 ，后续升级显卡卖出去更值钱。这个是从经济角度的。 |
 | 5 HenryHe613 2 天前 32B 可以用 5090 32G 跑，所以 48G 和 32G 对你来说差别不是很大。 目前没有遇到老模型用不了的问题，只是 PyTorch 需要用 nightly 渠道安装，不然会不支持 5090 的驱动。 5090 非国行也没有保修，我是去日本旅游顺路带了一张回来自己用。但是相比 4090 改装版，我觉得原厂的质量更加可以信赖。 如果后期需要上双卡，记得电源预留点空间，这样后期升级可能会节省一笔费用。1000W 以上的电源可不便宜。 |
 | 6 sunny352787 2 天前 不考虑 A6000 ada 这类专业图形卡吗？相当于官方的 4090 48G ，5090 的价格都能接受了那 A6000 也没差太多了 |
 | 7 Saunak OP @sunny352787 A6000 和 A6000 ada 是两种哇。服务器用的就是 A6000 ada ，那个太贵了，一张要 5w 多 |
 | 8 robbaa 2 天前 双 3090+nvlink 先用着，后期再说后期的问题，到时候说不定 6090 都出来了 |
| 9 sunny352787 2 天前 @Saunak 我知道是两种，不过现在 5090 满血版能买到吗？要是不好买的话魔改版 4090 还是不太放心，所以我想不如考虑 A6000 ada ，但确实有点贵哈哈哈哈 |
 | 10 jiujiutang 2 天前 这篇文章的思路也可以参考下。https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw |
 | 11 Quik 2 天前 就从我自己了解的部分来回答部分问题以及一些建议： 1. 除非你租房有专门放机箱的房间，否则没办法用涡轮卡； 2. 关于显卡需求的 PCIE 通道：5090 理想情况下是需要 PCIE 5.0 * 16 的，但是 PCIE 5.0 *8 也有人说损失很小。4090 需要 PCIE 4.0*16 就行，也就是 PCIE 5.0*8 的速度，不过不知道 PCIE 4.0 * 8 有多少损失。 3. 主板选择：首先确认是 msdt 还是 hedt 。 - 家用主板对多卡的支持性很差，但也有少部分选择（虽然性价比不高）。这种情况下需要找专门能支持显卡 PCIE 拆分的主板，将 1 个 PCIE 5.0 * 16 拆分成两个 PCIE 5.0 * 8 。用 AMDcpu 的话，微星的 800 系主板只能看一下 X870E Godlike ，或者再等等后面出的 X870E Ace 。600 系主板便宜的选择是 X670E 暗黑，除了内存支持略弱其实扩展性更好一点，这块板子可以看做最便宜的支持双 PCIE5.0*8 的主板，但是给显卡的第一个 PCIE 插槽在第 3 槽，导致物理空间拥挤。或者看看 Intel 的主板也行，虽然 CPU 稀烂并不推荐。 - 服务器的话我想到的是 7K62 这种洋垃圾，看起来也还行，主板也不算贵，至少 PCIE 通道很多（基本上都是 PCIE*4.0 *16 ，所以不需要担心通道不够，相对应的也没有物理空间问题。 4. 关于显卡的物理空间：5090 风冷基本上都是 3 槽及以上的，两张超厚风冷卡并排其实散热不太好，吃尾气。关于物理空间不够用（例如两个拆分后的显卡 PCIE 插槽只有 3 槽），可以用 PCIE 延长线的。 5. 考虑双卡基本上都得上超大机箱了，例如追风者 PK620 这种的。当然机架式的也不是不行。 |
 | 12 KimGuo 2 天前 最近听说有个方案，是把两块 v100 16GB 通过转换器转成一个 PCIE （两个 x8 ）然后通过软排线接到主机上的方案 好处是便宜（咸鱼成品大概是 2800 ） 坏处是需要主板支持通道分割、v100 不支持 fp16 运算（不兼容一些新的推理模型）、个头不小 |
| 13 Saunak OP 电源和机箱这个问题倒是不大。 主要是主板和系统不太了解。我看很多测评说 5090 需要双 PCIE5.0 x 16 ，一般的消费级主板带宽不够会导致双卡速度非常低。https://zhuanlan.zhihu.com/p/1906986288147563035 看到可行的方案有 GIGABYTE TRX50 AI TOP + AMD 线程撕裂者 7960X ，不晓得有稍微便宜点的没。 []( https://www.xiaohongshu.com/explore/67f3f894000000000f03be93?xsec_token=ABrHcV3PAqG0pzB8e4RojCRGvBJJYysnPQtFynCnUYn0Y=&xsec_source=) |
| 14 Saunak OP @sunny352787 5090 和 5090 D 测试好像差别不大吧？只要不是 24G 的版的。 我看其他平台很多推荐 4090 48G 的，不知道是卡贩还是啥。这个帖子倒是清一色的推荐 5090 |
| 15 Saunak OP @Quik 谢谢这么详细的分享。 看到可行的方案有 GIGABYTE TRX50 AI TOP + AMD 线程撕裂者 7960X 。 https://www.xiaohongshu.com/explore/67f3f894000000000f03be93?xsec_token=ABrHcV3PAqG0pzB8e4RojCRGvBJJYysnPQtFynCnUYn0Y=&xsec_source= 我想问下如果用 5090 双卡的方案（非水冷），我后期自己加卡。那么现在的主机是找 jd ，tb 的供应商定制，还是自己 diy ，或者买了找 jd 装机的人装比较好？ jd 和 tb 的供应商，我看似乎配置都不太灵活，而且价格会高不少，不晓得他们的售后有没有用 |
| 16 Quik 2 天前 @Saunak #15 我的看法： 1. 个人买 5090 约等于没有售后（包括但不限于店保、白牌等），供应商之类的也不好说，这方面就是买别怂，怂别买。不过显卡这种东西是不拿来折腾的，我拿到手之后测了一天的甜甜圈什么的，温度也不是很高，切到 Ubuntu 之后赶紧加上了 450W 的功耗限制。就算是真坏了也有 B 站张哥和靓女能修。最常见的坏法就是少接口，搬板也就 2-3k ，其实成本没有想象的高（只要核心没坏）。 2. 供应商的售后，个人买还真不了解。但是同学之前了解过官方采购那种途径（就是 30W 以下的单位采购，无须招标，可开票），当时听说是坏了包修 or 换，供应商说是有到 SG 的途径去修卡或者售后卡。缺点是性价比低，你需要用旗舰卡的价格买丐卡。 3. 实在担心售后，考虑一下 5090D ？好像 5090D 相对于 5090 就阉割了 FP4 ，对 99%的场景都是暂时用不到。一般自己 fine-tune 都至少是 fp16 或者 bf16 吧。不过也有人说 5090D 的核心已经停产，即便是核心出问题售后也是有去无回，而且一些显卡品牌的售后还不怎么样（比如微星），或者你 5090D 拿去售后给你换成 5090Dv2 ，什么说法都有。至少现在有小问题还是都能给解决的。 我个人是就用了 1 张 5090 （微星的神龙）。温度也不会多高，个人感觉 3 年很难用坏。  |
 | 18 sunmacarenas 2 天前 可以看下 rtx5880ada ，价格与 5090 差不多，显存是 48G |
 | 19 coefu 2 天前 你不给预算怎么推荐？如果只是跑 LLM ，不做别的，那我推荐 Mac studio M3 pro 。 你会发现，仅仅是放在住处，这是多么睿智的选择。如果你有类似于 IDC 的环境，自己组装台式机+GPU 是个好选择。 |
 | 23 cpstar 2 天前 不是有一个 GB10 的各家小主机 |
| 24 coefu 2 天前 @Saunak #22 GPU 主要是保值，但是关键问题，你要放住处，那就难搞，但凡组的 GPU 台式机，第一，功耗高，第二热量和噪声大，这个是会影响到生活的。mac studio ultra 的情况是，如果你统一内存买小了，后续不怎么保值，你要是再出手估计要打折。对于你的问题来说，我觉得 mac studio ultra 是最优解。 |
| 25 coefu 2 天前 @Saunak #22 4090/5090 单卡功率 595w ，2 张就要 1200w ，带上主板 CPU ，电源按照转换率 80%起码要买 2500w ，跑满的时候，一个小时 2.5 度电，你遭的住？不要小看这个啊，电表倒转。 |
| 26 coefu 2 天前 @coefu #25 mac studio m3 ultra 最大持续功率：480 瓦,工作温度：10°C 至 35°C (50°F 至 95°F)。对于放到住处，过来人的经验。  |
 | 27 FakerLeung 2 天前 多 I 卡试试？ |
 | 28 mayday1997 2 天前 @bigtear 这个平台有 nfsw 审查吗 |
| 29 mayday1997 2 天前 @bigtear 抱歉，查了下不是平台，打扰了 |
| 30 bigtear 2 天前 @mayday1997 #28 整机，和 Mac Studio 差不多 |
 | 31 propheteee 2 天前 via Android 英伟达新出的针对个人开发者的 DGX Spark 考虑下不，128g 共享内存 |
| 32 Saunak OP 我是用来开发和调试的，需要进行一定的训练，但是不会完全在自己的机器上跑。mac studio ultra 好像主要是推理吧？ 双卡主要是预留，后面如果有需求扩展 gpu 就不浪费之前的机器了。双卡不一定是刚需。 如果不拓展我就当做高性能主机用了。 租房有单独的卧室，只是办公和机器要在一起。 |
 | 33 8355 2 天前 现在普通成色的 4090 卖给一般消费者，好成色的都在机房出租 肯定是买新不买旧 |
| 35 HenryHe613 2 天前 |
| 36 Quik 2 天前 @HenryHe613 #35 自己限制的，怕 600W 烧接口。主要是 Linux 下没有 Afterburner 这种工具能够调整电压/频率曲线，只能限制一下总功耗规避一下风险。限制功耗性能比 4090 还略微强一点。 |
| 38 Quik 1 天前 @mystical #37 现在没有全新的 4090 了吧，要么是二手，要么是 4090 48G 。前者大概一万七，后者两万+，跟 5090 差不多的价格。4090 早就不是以前一万二左右价格的时候了  |
| 40 Quik 1 天前 @Saunak #39 一般都是二手改的，所以我有些信不过。 5090 和 5090D 少接口差不多，本质上是功率高+这个接口设计垃圾没有均流导致的，没有太多好的办法。不过烧接口毕竟是少数，应该问题不大。 防止的话： 1. 保证接口插紧，windows 下可以通过跑甜甜圈+监控一下 12v 的电压（具体忘了，B 站有教程）。 2. 另外这个接口的插拔次数的寿命很少，不要过多的插拔，次数多了就该换线。 3. 线缆尽量不要弯折，尤其是靠近机箱侧板的部分，有条件的话可以先用 90 度接口的线（部分电源厂商会提供售卖，例如首席玩家）。 4. 微星的 5090**绝对不要用**显卡自带的那根双色线，烧过好多了。尽量用电源附带的线。https://www.bilibili.com/video/BV1C8x1zSE2Z/ |
Select Language