集群式存储 NAS 的一种可能性？求大佬解惑

可以 iscsi 套娃？

用外置的硬盘供电笼子？有多的 pcie 插槽的话加个 raid 卡之类的，数据线直接连过去，供电由笼子负责

是的，对于优化不好的场景，会有较大的性能损失。
能实现。
你并不需要真的机器，你可以用 vm 起 pve ，然后 vm 里搭建 ceph 集群。

@rojer12 如果考虑外置硬盘的方案的话，我可能会直接上 jbod 设备了，整个洋垃圾服务器，用 hba 卡外接 jbod 设备，扩容的上限也可以增加很多，确实也考虑过这个方案

@mayli Ceph 的调优大概看了一些资料，感觉非常复杂，好像也不是一个很好的办法，不是专门搞 Ceph 运维的我来弄这种架构，感觉最后只能是“能用”的水平，达不到“好用”

可以多几台 vm 起 ceph
性能损失肯定有，毕竟套 3 层娃。
所以一般拿来练习 ceph 的，即使是自己用，拿几台旧机器整个真的集群比这个靠谱多了。
因为你这个虽然逻辑上是集群，实际计算和存储都在一台机器上，是个单点。。。所以还不如普通的 raid 。

司波图最近更了一期 pve 集群+ceph 的视频，可靠性看上去还可以，磁盘容量和和性能会有损失

家用搞啥的这么多存储需求。。

我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
Ceph 配置复杂。可靠性也是存疑。

@zx900930 真集群的话，推荐什么方案呢？ GlusterFS 上次更新好像是 2020 年的事了……

有 PCIe 槽吗？有的话几十块钱一张 HBA 卡，浪潮拆机的硬盘笼，直接就有 12 盘位，级联还能再扩 12 盘位。

数据中心的分布式方案是建立在强大的运维部门的基础上的。

硬盘也是有寿命的，不如另外搭一套，方案也简单不折腾

@sinORcos #10 个人使用，建议存储单独弄个 NAS 出来，这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失（ 4k 小文件 70%Read 30%Write ）对比直接 csi 接入 block storage 平均在 60%以上，瓶颈在网络上，测试时网络是 25G x2 捆绑.

对网络的要求非常非常高，网络抖动可能造成 glusterfs 脑裂-节点损坏，这时候的 file-healing 根据数据量经常是以天为时间单位计算的。


所以先弄清楚自己的需求，大文件还是小文件，读写比例，以及你是否有足够的精力来维护你的存储架构。

小建议：公司里管这些已经够累了，家用真的放过自己吧。
一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。
要扩容，买同样数量的硬盘新建一个 vdev raidz 加入池子吧，这是标准 zfs 扩容的方式。

能用即可，你那些需求用 nvme 全都可以解决，剩下的 hdd 做数据落地，有兴趣可以留个联系方式我加你，我可以帮忙

我失业了很无聊，可以留个联系方式我和你一起折腾

@zx900930 我也觉得家庭搞 Ceph 太复杂了，就是想搞个可以完全无痛扩容的方案出来，看各位大佬的建议，最后可能还是选择 TrueNAS 的方案，高于服务器硬盘位的扩容就用 jbod 解决，之前 linus 搞过一个 Mother Vault ，可能就使用类似那种的方式才最适合家庭或微型公司，虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车

@wangbin11 全闪的成本太高了，非我辈能承受啊

@sinORcos nvme 用来加速不是全闪，你留个联系方式我加你

楼主不考虑 zfs 吗？ 我目前用 zfs 堆了快 100T 的存储。16T*8 ，打算组两组，全部 smb 挂载使用。

上集群感觉就很复杂啊，单机几十块硬盘也没问题啊，你这个 8 块硬盘还能翻几倍呢，到时候再考虑集群呗

好奇是什么场景要全部数据在线？
我硬盘已超过 200T ，但从没想过要全部挂上，没必要啊，每天数一遍全部文件个数么？

真要有多个节点，不如搞个 minio ，当 s3 桶外挂，水平随意扩展。

我真的研究过这个方案，底层用 esxi ，然后上几个 CEPH 节点

且不说三层套娃

印象里每 TB 推荐 1GB RAM,感觉不是服务器主板真的带不起这么多内存插槽

且不说家里有没有地方和噪音，电费都吃不消了

后来我认真研究了一下工作站方案，消费级 CPU ，多带几个 PCI 接口，用 PCI 转 sata 扩展出来，其实也挺香的

如果是一般家用存个剧、照片、备份啥的，有个 100T 肯定足够的