PVE 黑群晖场景下,各种姿势的存储方式性能对比 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
sadfQED2
V2EX    NAS

PVE 黑群晖场景下,各种姿势的存储方式性能对比

  •  
  •   sadfQED2 2023-10-24 10:51:25 +08:00 1694 次点击
    这是一个创建于 801 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景: t/983981

    为了找到问题根本,我耗时两天,进行了各种磁盘性能测试。

    省流总结:随便什么姿势,随便选一个就行,性能区别不大(我主板只有一个 SATA 控制器,没测直通控制器,但是按网上说的,区别也不大)

    设备:

    物理机:CPU:D1581 内存:128G 2133 MHz ECC 磁盘:3T HDD 7200 转 垂直盘 * 2

    虚拟机: 4 核 CPU 8G 内存

    系统:arpl+DSM7.2.1

    首先,我采用最普遍的方式,PVE 把 2 块磁盘全盘映射到虚拟机,然后进行测试(由于磁盘测试耗时实在是太长了,因此下面所有测试都只跑了 4K 随机读取性能):

    RAID 文件系统 数据完整性校验 压缩 读取性能
    RAID1 Ext4 不支持 不支持 3757KiB/s
    RAID1 Btrfs 开启 开启 3692KiB/s
    RAID1 Btrfs 开启 不开启 3752KiB/s
    RAID1 Btrfs 不开启 不开启 3798KiB/s
    RAID0 Ext4 不支持 不支持 3947KiB/s

    这个结果可以说明好几个问题:

    1 、btrfs 和 ext4 性能差异不大

    2 、btrfs 开不开群晖的压缩(我不知道他用的哪种算法),开不开完整校验,性能差距不大

    3 、群晖中,Raid0 和 Raid1 都能够优化磁盘读取性能,都接近 2N 的速度

    接着,为了做对照,同样的宿主机下,把同样的 2 块磁盘通过全盘映射的方式挂到 debian 系统下面测试,这里我偷懒了,没配 RAID ,只挂了一块盘,测试

    RAID 文件系统 数据完整性校验 压缩 读取性能
    Ext4 不支持 不支持 2142KiB/s

    这个测试数据基本说明了群晖 Raid0 和 Raid1 确实提升了磁盘读取速度。

    到这里,我原帖 Copy 速度为啥跑不上去的根源基本上找到了。但是!我还有一个疑问,那就是我第一个测试结果,我的磁盘是怎么跑到 400Mib/s 的?我当时绝对跑出那个速度了,但是后续为啥复现不出来了呢?

    我仔细回忆了当时的测试步骤,当时应该是刚刚装好系统,当时是 PVE 使用 ZFS 建的磁盘组,然后建了一个虚拟磁盘给虚拟机,当时想着群晖装 fio 不方便,就直接拿 Debian 测试了,想着测磁盘性能,应该和操作系统没关系。

    于是又进行测试

    操作系统 宿主机文件系统 宿主机压缩 虚拟机文件系统 读取性能
    debian ZFS lz4 ashift 12 Ext4 61.5MiB/s
    debian ZFS lz4 ashift 9 Ext4 439MiB/s
    DSM ZFS lz4 ashift 9 Ext4 54.7MiB/s
    DSM ZFS lz4 ashift 9 Btrfs 53.1MiB/s
    DSM ZFS lz4 ashift 9 Ext4 On Raid0 64.4MiB/s

    这里也能看出一个问题,宿主机使用阵列后,虚拟机再组阵列就不能达到 2N 的速度了

    到这里,400+的读取速度复现出来了。我盲猜一波,造成这种问题的原因应该是 Fio 写入的测试数据都是重复的值,ZFS 开启压缩算法后直接给去重了,读取性能约等于解压性能。

    但是,我还有一点纳闷,DSM 在 ZFS 虚拟盘的场景下,读取性能还是不如 Debian ,Debian 能跑到 400+,群晖才 50+,原因未知,有请大佬分析。

    顺带一问,在 ZFS 开启压缩后,怎么能够真实的测试出磁盘读取性能呢?用 FIO 测出来的应该不是真实的了

    makaflow
        1
    makaflow  
       2024-05-09 08:50:12 +08:00
    pve8 了,依旧有磁盘性能问题,然后我就火速换回 esxi8 了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2466 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 15:08 PVG 23:08 LAX 07:08 JFK 10:08
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86