Raid6 阵列重建时间太长求助 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Achophiark
V2EX    NAS

Raid6 阵列重建时间太长求助

  •  
  •   Achophiark 2023-10-23 15:01:56 +08:00 2156 次点击
    这是一个创建于 802 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近一台联想服务器安装的 ESXi 8,raid6 8T x 10 ,一块硬盘坏,esxi 内有不到 20 个虚机,新购硬盘插入后,13 日早上重建至今 10 天了还没完成,有经验的同学给说说这样是否正常。网上看到大概 8t 也就 100 小时重建。
    27 条回复    2023-11-03 09:43:09 +08:00
    esee
        1
    esee  
       2023-10-23 15:07:24 +08:00
    看你啥硬盘啥 CPU ,软 raid 还是硬 raid ,只要重建有进度在走,就这样吧,反正也没啥其他方法。在服务器前烧几炷香求老天爷保佑,这是唯一能做的
    gregy
        2
    gregy  
       2023-10-23 15:13:22 +08:00
    能装 esxi 应该不是软 riad 。联想用的应该是 lsi 的阵列卡,esxi 里安装一个 storcli 看看重建的状态和阵列卡的日志,别是重建的时候有啥问题导致重建卡住。另外如果虚拟机的磁盘 IO 比较高,阵列卡会优先保证磁盘 IO 并减缓重建的速度。可以用 storcli 调整重建的策略,牺牲一部分的磁盘 IO 速度加快重建速度。
    knightgao2
        3
    knightgao2  
       2023-10-23 15:13:50 +08:00
    服务器建议 raid 10
    Achophiark
        4
    Achophiark  
    OP
       2023-10-23 15:6:48 +08:00
    @gregy 阵列卡是 ThinkSystem RAID 930-16i 4GB Flash PCIe 12Gb Adapter
    在 xcc 里能看到“重建中”但看不到进度。虚拟机的 io 确实挺高的,但有不能停的话,重建迟早应该会完成吧?
    Achophiark
        5
    Achophiark  
    OP
       2023-10-23 15:18:20 +08:00
    @knightgao2 现在来不急了啊
    luoshengdu
        6
    luoshengdu  
       2023-10-23 15:22:18 +08:00   1
    重建其实就是硬盘的重新同步,也就是写入速度。有业务在跑,通常重建速度不超过 50MB/s 。

    那么计算可得:( 8T*8 个*0.93 (实际可用空间)) 50MB/s=1190400 秒,约 330 小时,耗时 14 天
    gregy
        7
    gregy  
       2023-10-23 15:26:00 +08:00   1
    @Achophiark 这个就是联想 OEM LSI 的卡,在 esxi 里装 storcli 看看重建真实的状态和进度,闭眼干等万一有坑就不好办了。
    同意三楼的观点服务器用 raid10 比 raid6 要好,raid6 写惩罚太高,再加上你的虚拟机磁盘 IO 高阵列还在重建整体的性能更拉跨。不过 raid10 的成本会高很多。
    你的服务器用了 10 个 8T 盘应该至少是一个 2U 的服务器,一般 2U 服务器能装 12 个 3.5 寸硬盘,加一块盘做成热备吧,这样多少能提高一些可靠性。
    geniussoft
        8
    geniussoft  
       2023-10-23 15:43:14 +08:00 via iPhone
    不正常,空载 8T x8 RAID6 重建 12 小时左右
    Achophiark
        9
    Achophiark  
    OP
       2023-10-23 16:24:44 +08:00
    @gregy 找到相应的 storcli ,提示安装成功,但要重启,正在重建中,重启 esxi 有啥问题吗?
    Achophiark
        10
    Achophiark  
    OP
       2023-10-23 16:25:44 +08:00
    @luoshengdu 谢谢回复,意思是还没到时间,再等等。
    Achophiark
      nbsp; 11
    Achophiark  
    OP
       2023-10-23 16:26:26 +08:00
    @geniussoft 这位同学说的是空载吧
    dode
        12
    dode  
       2023-10-23 16:54:02 +08:00
    把重要的信息备份出来,迁移出虚拟机
    gregy
        13
    gregy  
       2023-10-23 17:03:45 +08:00
    @Achophiark 应该不用重启,网上查查 storcli 的命令,到 /opt 目录下找到二进制文件执行。注意看清楚命令解释别把虚拟卷删了
    gregy
        14
    gregy  
       2023-10-23 17:05:40 +08:00
    @Achophiark 重建中重启没啥问题,不过你都打算重启物理机了,说明虚拟机的业务可以停止?不如晚上把虚拟机关机看看没有负载的情况下能不能重建的快一些。
    Achophiark
        15
    Achophiark  
    OP
       2023-10-23 17:54:23 +08:00
    @dode 虚拟机都有备份,但是这是单主机,没办法迁移
    @gregy 虚拟机可以停止业务,但停止了还是有些许麻烦的,实在不行停止。
    Achophiark
        16
    Achophiark  
    OP
       2023-10-23 18:04:33 +08:00
    /opt 下找不到二进制文件,find / -name storcli 也找不到
    waringid
        17
    waringid  
       2023-10-24 08:59:50 +08:00
    @luoshengdu 实际不太可能 8T 数据完全占满的。但是高负载情况下磁盘同步的速率确实很低

    同时需要确认整个磁盘阵列的可用空间是多少,如果已用空间占了磁盘的 80%,那可能需要更长时间。像 8T 这么大容量的硬盘如果配置 RAID6 风险还是挺大的,主要是数据同步的时间太长,如果是同一批次的硬盘是可能存在通过过程中其它硬盘故障的情况
    gregy
        18
    gregy  
       2023-10-24 09:08:16 +08:00
    @Achophiark 我怀疑你装错了。试试这个,这是所有系统的 storcli 。找里面适用于 VMware 的
    https://docs.broadcom.com/docs/007.1715.0000.0000_Unified_StorCLI.zip
    gregy
        19
    gregy  
       2023-10-24 09:13:58 +08:00   1
    @waringid 我记得 raid6 应该是全盘重建和数据的写入量没有关系。用了 1M 是重建全盘,用了 7T 也是重建全盘。
    ttvast
        20
    ttvast  
       2023-10-24 11:36:32 +08:00
    @waringid 硬 raid 不管你用了多少空间,全盘读写重建的。
    Achophiark
        21
    Achophiark  
    OP
       2023-10-24 14:14:51 +08:00
    服务器配置 t/897495
    @waringid 总计 60T 用了 26T

    @gregy 我装的没问题,你给的这个是 esxi7.1 以前版本的,我的是 BCM_bootbank_storcli_007.2414.0000.0000-01.vib
    @ttvast 都说要完整重建,按照 6 楼同学的算法我大概算了 下也要 15 天以上了。
    目前先不折腾了,等等我再来汇报一下,感谢大家的回复
    Achophiark
        22
    Achophiark  
    OP
       2023-10-24 14:18:29 +08:00
    @gregy readme 虽然有提示
    Notes :
    1. VIB under directory "VMwareOP" : This binary is for versions from ESXi6.0 to ESXi6.7.
    2. VIB under directory "VMwareOP64" : This binary is for versions from ESXi7.0 and later.
    但安装提示如下:
    On platform embeddedEsx, VIB BCM_bootbank_vmware-storcli64_007.1705.0000.0000-01 requires esx-version << 7.1.0, but the requirement cannot be satisfied within the ImageProfile.
    gregy
        23
    gregy  
       2023-10-24 15:07:27 +08:00
    @Achophiark 我搞错了,我还没用过 8.0 我用的还是 7.0 甚至有部分 6.0 的还在运行。。。
    Achophiark
        24
    Achophiark  
    OP
       2023-11-02 17:16:40 +08:00
    11 月 1 日终于重建成功了,向各位同学汇报一下。前后历时大概 15 天,第一帖说的 13 日开始重建是不对的,13 日是降级,查日志是 17 日开始插盘的。谢谢各位的帮助了。
    @esee
    @gregy
    @knightgao2
    @luoshengdu 这位同学的推算时间基本准确
    @geniussoft
    @dode
    @waringid
    @ttvast
    @luoshengdu
    Achophiark
        25
    Achophiark  
    OP
       2023-11-02 17:17:05 +08:00
    waringid
        26
    waringid  
       2023-11-03 08:21:19 +08:00
    不容易啊,这种情况身心煎熬
    Achophiark
        27
    Achophiark  
    OP
       2023-11-03 09:43:09 +08:00
    这种单主机确实煎熬,没法迁移虚机,不过还好,都有备份,只是一旦 raid 崩了,整个 esxi 重建就更煎熬了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1215 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 17:05 PVG 01:05 LAX 09:05 JFK 12:05
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86