如果有几百个 T 的数据,硬件应该如何选配? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dw2693734d
V2EX    硬件

如果有几百个 T 的数据,硬件应该如何选配?

  •  
  •   dw2693734d 2023-06-10 16:11:36 +08:00 3816 次点击
    这是一个创建于 857 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://i.imgur.com/l33rWFn.png

    准备买 20 个 SN640 T 放在本地电脑上

    数据库的数据分片在每个硬盘上

    但是电脑接口有限, 怎么把 20 个硬盘连到电脑上?

    27 条回复    2023-06-16 23:06:54 +08:00
    acctv2
        1
    acctv2  
       2023-06-10 16:33:17 +08:00 via Android
    PCIE 拓展卡就能解决。

    我很好奇个人怎么有几百 t 的高频读取的数据
    dw2693734d
        2
    dw2693734d  
    OP
       2023-06-10 16:45:29 +08:00
    @acctv2 区块链
    labnotok
        3
    labnotok  
       2023-06-10 18:52:23 +08:00 via Android
    不考虑机械企业盘吗,成本低 2/3
    dw2693734d
        4
    dw2693734d  
    OP
       2023-06-10 18:58:28 +08:00
    @labnotok 太慢了
    ruixue
        5
    ruixue  
       2023-06-10 19:08:51 +08:00   2
    epyc 吧,128 条 pcie ,走转接的方案上 20 来块还是没问题的,就是注意做好散热,u2 的企业盘散热不是那么好压的,即使是最凉快的 sn640~
    Damn
        6
    Damn  
       2023-06-10 19:31:36 +08:00
    SN640 格式化后差不多 7t 可用空间,20*7=140t ,离几百 t 还差了点。
    楼主是不是应该考虑用量天尺( E1.L ,类似 PE8111 这种)?
    GPU
        7
    GPU  
       2023-06-10 19:39:05 +08:00
    @Damn #6 这个 E8111 个人估计都很难买到。
    YaakovZiv
        8
    YaakovZiv  
       2023-06-10 19:51:47 +08:00
    我自己是借用公司的机柜,搞了一个机架服务器插盘做存储服务器。走光交,自己电脑用塔式服务器插光模块
    0o0O0o0O0o
        9
    0o0O0o0O0o  
       2023-06-10 19:52:59 +08:00 via iPhone
    好奇是做什么链的数据分析需要几百 T ?感觉在意速度的节点应该都是几个 T 就够了,就算是存档节点也要不了这么大啊
    dw2693734d
        10
    dw2693734d  
    OP
       2023-06-10 20:05:20 +08:00
    @0o0O0o0O0o 和 dune 差不多的
    dw2693734d
        11
    dw2693734d  
    OP
       2023-06-10 20:11:56 +08:00
    @ruixue 请恕我见识短浅,我淘宝搜了下,epyc 好像是 amd 的 cpu
    seeleling
        12
    seeleling  
       2023-06-10 23:02:11 +08:00
    PCIE 拓展卡解决问题。
    Tianao
        13
    Tianao  
       2023-06-10 23:24:48 +08:00
    楼主需要 Direct-Attached Storage (DAS).
    l1ve
        14
    l1ve  
       2023-06-10 23:55:09 +08:00
    EMC 考虑一下?
    ryd994
        16
    ryd994  
       2023-06-11 04:04:53 +08:00 via Android   2
    @dw2693734d 人家就是让你买 epyc 的 CPU 和配套的平台
    pcie 通道数受 CPU 限制。一般桌面平台只有 20 条,也就是 5 块盘,每块 x4 lane 。而且显卡也需要 pcie ,你插满 20 lane 就不用干别的了。
    服务器平台都是 40 条 128 条这样。如果不够还能双 CPU 。

    桌面平台一定要怎么办,也有办法,plx switch 。但是这个芯片很贵。而且不能增加总带宽,只是能多设备共享带宽而已。所以完全不值。

    如果你对 CPU 性能要求不高的话(比如 GPU ML ),那可以用洋垃圾平台,也就是上一代或者上几代的服务器平台。白菜价。单核性能差,不适合打游戏。但是堆核心打打桌面平台还是不成问题的。
    如果对 CPU 性能要求高,那就只能花钱买新服务器了。
    ltkun
        17
    ltkun  
       2023-06-11 06:39:04 +08:00 via Android
    pcie 直通卡 几百块都可以直接连 配合硬盘笼串联 咸鱼搜硬盘笼 几千就可以 100 多块硬盘
    dw2693734d
        18
    dw2693734d  
    OP
       2023-06-11 08:23:53 +08:00
    @ryd994 多谢大佬
    dw2693734d
        19
    dw2693734d  
    OP
       2023-06-11 08:24:44 +08:00
    @MAKF 把节点的数据转到 Postgres 里,查考 dune, k 线,交易记录之类的
    ruixue
        20
    ruixue  
       2023-06-11 10:32:36 +08:00
    @dw2693734d 是的,#16 已经帮忙解释了,家用平台 pcie 通道数有限,没有特别好的方案能充分发挥 20 块 sn640 的速度,只能直接换服务器平台,而 epyc 是比较合适的选择
    littleJohn
        21
    littleJohn  
       2023-06-11 10:34:08 +08:00   1
    我的天 和我女朋友一样的头像 吓得我以为她会逛 V 站了
    opengps
        22
    opengps  
       2023-06-11 10:58:02 +08:00 via Android   1
    有扩展卡,但是扩展卡增加数量时候也有不足
    最好的方案还是买昂贵的存储设备,甚至可以放一块盘用
    Rendex
        23
    Rendex  
       2023-06-11 14:11:53 +08:00   1
    咸鱼上有一个 pcie 转 20 固态的拓展卡,看能不能搜到。好像是戴尔服务器拆机的。
    大容量的话算是一个思路吧
    deorth
        24
    deorth  
       2023-06-11 17:59:24 +08:00 via Android
    买华为 Dorado 18500 v6
    honeyjuice
        25
    honeyjuice  
       2023-06-14 09:05:40 +08:00   1
    1.你需要找个机箱 能有 20 盘位的先
    2.然后上 epycCPU 和相应的主板
    3.接着去买 pcie 转 U2 然后主板设置好拆分
    7D12 这种阉割版有 64 条 pcie ,其他满血版有 128 条
    4.最后就是慢慢扩,关键是还得找个优雅好看的 20 盘机箱,为了优雅还要全 U2 背板
    dw2693734d
        26
    dw2693734d  
    OP
       2023-06-14 09:31:34 +08:00
    @honeyjuice 专业啊膜拜了
    BitGeek
        27
    BitGeek  
       2023-06-16 23:06:54 +08:00
    如果是企业方案的话有种东西叫做存储机,就是有一大堆硬盘位一般为 4u 高度的设备,其作用就是给服务器扩展硬盘,但是我在并没有实际体验使用过这个东西,只是听说过,楼主可以网上搜下这种方案
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5794 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 01:43 PVG 09:43 LAX 18:43 JFK 21:43
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86