临时开发机兼 nas 服务器 os 和存储/显卡/pcie 槽规划求建议 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
roidinev
V2EX    NAS

临时开发机兼 nas 服务器 os 和存储/显卡/pcie 槽规划求建议

  •  
  •   roidinev 326 天前 1902 次点击
    这是一个创建于 326 天前的主题,其中的信息可能已经有所发展或是发生改变。

    具体需求:

    8 盘位 nas ; 虚拟化需求; 临时编译开发( on arch and macos )

    使用方式:

    安装 arch linux , 利用 libvirt kvm ,创建虚拟机; macos 虚拟化; 连接一个只有 hdmi 2.1 的 4k 120hz 显示器。

    目前的已有配置和要购买的

    item spec note
    cpu 9900x 120w
    cpu cooler alphacool lt240 liquid cool -
    gpu - to buy and use pcie slot
    mb h13sae-mf b650
    memory hynix ddr5 udimm ecc 2X32g
    3.5 hdd 8 -
    2.5 ssd/hd 2 to buy
    m2 2 to buy
    psu corsair sfx-l 1000w -
    case cs381 matx
    10g - to buy and use pcie slot
    hba lsi/broadcom to buy

    一些限制条件和说明

    • pcie 插槽

      主板视图 机箱视图

    如上主板从左边开始有一个 pci 5.0x8 A , 一个 pci 5.0x16 B ,一个 pci 4.0x4 C 。 使用插槽的用户有 gpu (尽量单槽,占据通道数 x4 或者 x8 或者 x16 ),10g 网卡(一般占用 x4 通道),hbaraid 卡( hba 一般是 x4 ,raid 卡一般是 x8 )。(听人说 m2 接口也可以转为 pcie 槽)

    • 存储
      主板提供 4 SATA3 ports 。机箱的前面是硬盘笼,里有 8 盘连接到一个 hba 卡(插在 pci 槽),硬盘笼上面可以放两个 2.5 寸的 ssd/硬盘,这两个盘可以连接到主板的两个 sata3 端口。
      主板也提供 2 个 m2 。
      主板左侧即机箱左侧如果不放置风扇或者 2 个 2.5 寸盘,这三个 pcie 插槽就都可以使用的。考虑到用的水冷安装在机箱的后面挡住了风道,应该(有没有其他解决风道问题的方法呢)在机箱左侧加两个 120 风扇,这样插槽 A 只能容纳最宽 102mm 的显卡(这里假设显卡能插入到 x8 的槽内)。
      pcie 卡除了用 hbaraid 卡来扩张存储,也可以转化成 m2 。

    具体需求

    • 系统盘
      可选的盘有硬盘笼上面的 2 个 2.5 寸盘( sata hdd/ssd ); 2 个 m2.
      系统盘选高速 m2
      请问用单个盘还是建立 raid 0 镜像?这里有什么要考虑的吗

    • 数据盘

      • 8 盘 raid 用 hba 卡以后可以用 md 做软 raid 。
      • 系统盘用的剩余的盘 2 个 2.5 寸盘( sata hdd/ssd) 这两个盘有没有必要放置呢? 比如虚拟机镜像可以放到 8 盘 raid 里,还是放到这里的 2 个盘里合适?
    • pcie 插槽分配和使用

      • pci 5.0x8 A
      • pci 5.0x16 B
      • pci 4.0x4 C

      使用插槽的用户有 gpu (尽量单槽,通道数 x4 x8 x16 都有),10g 网卡(一般占用 x4 通道),hbaraid 卡( hba 一般是 x4 ,raid 卡一般是 x8 )
      使用 gpu 的目前原因有一是想要 gpu 的 hdmi 2.1 端口来支持 4k 120hz ,二是 macos 黑苹果需要。没什么游戏需求。很久前用过 4k 47hz 的屏幕,确实能感受到屏幕刷新慢的动作,但也不影响工作。所以不知道 4k 60hz 是否能满足工作需求?

      1. 如果 gpu 只用来给 macos 虚拟化使用。可能 amd rx 580 类似老的显卡就可以,但是他们只支持 hdmi2.0 和 dp1.4 ,要想使用 4k 120hz 只能 dp 转 hdmi 2.1 ?
      2. 如果后续还有视频编辑/跑大模型,amd 6000 系列 gpu 能用吗?有什么推荐吗?

      请问具体如何分配插槽呢? gpu/网卡/hba 卡需求。

    第 1 条附言    325 天前
    已有配置表示已经购买了。其他方案暂时不考虑
    8 条回复    2024-11-26 22:08:26 +08:00
    roidinev
        1
    roidinev  
    OP
       325 天前
    @ 如果后续还有视频编辑/跑大模型,amd 6000 系列 gpu 能用吗?有什么推荐吗?
    因为 gpu 要直通给 macos (虚拟化 macos 需要),调研了下好像 macos 支持 amd gpu 下的深度学习框架很少。要想利用这个 gpu ,只能在 arch/linux 下使用。这里就要求来回更换 gpu 的使用方式(比如更换虚拟机 xml 方式切换)。这应该不方便吧?
    看来只能买个一般入门 gpu 就行。视频编辑/跑大模型的 gpu 以后再考虑了。
    qingchuan
        2
    qingchuan  
       325 天前
    整个二手服务器,R730xd
    cbingb666
        3
    cbingb666  
       325 天前
    @roidinev 系统直接 PVE ,想虚拟啥虚拟啥,办公开发跑在 MacOS 虚拟机上远程开发 Vscode Server 连接 Linux 虚拟机上跑深度学习更好,几乎所有深度学习的东西对 MacOS 的支持都比较有限。其次显卡我建议是 2 张分开(一高一低)好一些,这样分开跑深度学习的时候不会太影响你 MacOS 上的图形性能
    cbingb666
        4
    cbingb666  
       325 天前
    @cbingb666 补充一下,我觉得虚拟机黑苹果当办公我觉得局限性还是比较大,除非你只是要在上面跑编译 Xcode ,否则我还是建议单独一台 Mac mini 远程开发连接到你这台服务器的虚拟机 Linux 好些
    phenixc
        5
    phenixc  
       325 天前
    all in one ,all in boom
    roidinev
        6
    roidinev  
    OP
       325 天前
    @cbingb666 我特意不选择 pve 是因为 pve host 本身没法进行折腾,内核和包都有限制,而且升级麻烦。如果显卡选 2 张倒是能解决在 linux 虚拟机里跑深度学习。但是 matx 空间有限,还要安装网卡和 hba 卡,除非用一个 m2 转 pci 。
    确实,多年 macos 经验,习惯了不用鼠标。主要看看网页,ios 开发。其他主要在 arch 里 terminal 里进行软件开发。
    而且这个机箱我计划就入门深度学习,能暂时软件开发就行。以后主要还是 nas 和 vm 功能。
    Rendex
        7
    Rendex  
       325 天前
    要是 pcie 不够的话,闲鱼有拆分卡,能拆好多出来,不过确实只能用来挂更多的设备,速度可能不太能保证了。
    roidinev
        8
    roidinev  
    OP
       323 天前 via iPhone
    @Rendex 嗯 关键是对 5.0pcie 的拆分应该能保证速度吧 我去看看
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5082 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 09:21 PVG 17:21 LAX 02:21 JFK 05:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86