最近在调研 k8s 上有状态应用,关于分布式存储方面,对比了下,打算用 ceph ,想看看大家生产上的 k8s 都是用什么存储的
参考了下大家的回答,目前我们这边偏向于外购来私有化部署,有没有哪位大佬用过比较好的商业产品
1 yijihu 2022-01-04 16:34:34 +08:00 ceph nfs 一起用 |
![]() | 2 vicalloy 2022-01-04 16:39:40 +08:00 我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话,部分 IO 敏感的应用是否不上 K8S ? |
4 tommydong 2022-01-04 16:40:51 +08:00 via iPhone ceph 坑还是很多的,小 team 不建议用 |
![]() | 7 defunct9 2022-01-04 16:52:51 +08:00 glusterfs |
8 liaohongxing 2022-01-04 16:53:40 +08:00 存储附件还马马虎虎 ,要是放 mysql , 你要哭 ,试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右,忍住没上 k8s |
![]() | 9 flexbug 2022-01-04 16:53:49 +08:00 via Android minio 可以看看 |
10 CallMeReznov 2022-01-04 16:57:26 +08:00 维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸. 至今仍有阴影. |
![]() | 11 hxsf 2022-01-04 17:40:48 +08:00 已经有 nas 的话,直接试试 iscsi ? |
12 tommydong 2022-01-04 17:48:55 +08:00 via iPhone 都没接触过更不建议了,ceph 真心复杂 |
![]() | 13 szq8014 2022-01-04 17:50:45 +08:00 @CallMeReznov 哈哈哈哈 哈哈 哈哈 |
![]() | 14 uyZL3221XZ2xGZ3D 2022-01-04 17:57:38 +08:00 @tommydong 我记得部署就挺复杂的吧 |
16 tommydong 2022-01-04 18:46:40 +08:00 @tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了 |
![]() | 17 Reficul 2022-01-04 19:41:59 +08:00 |
![]() | 18 zmxnv123 2022-01-04 19:59:54 +08:00 拒绝在生产环境使用 c++ 写的开源产品,主要是太复杂了,根本 hold 不住。 |
19 FullBridgeRect 2022-01-04 22:20:28 +08:00 商用私有化产品 openstack ?不过这个东西就更复杂了哈哈哈 分布式存储主流的是 ceph glusterfs 这两个,如果单机存储比较充足可以用 iscsi 对外,或者有买存储服务器的就更省事了 还有个项目是在 k8s 上面搭 ceph 的,叫 rook ceph ,我没用过不知道坑有多大 === 涉及存储都是一堆坑,k8s 自己又是另一堆坑,我们用阿里云 aws 上 k8s 还是在坑里打滚 |
![]() | 20 Deardrops 2022-01-04 22:29:52 +08:00 iomesh 了解一下,国内公司 Smartx 推出,一键部署,社区版可以免费使用。性能不会比 ceph glusterfs 差。 https://www.iomesh.com/ https://www.smartx.com/ |
![]() | 21 Ranler 2022-01-04 22:53:48 +08:00 存储的坑比 k8s 的坑大 自建 NAS 咋保证高可用和数据备份? |
22 |
![]() | 23 pydiff OP @FullBridgeRect 我们在华为的 cce 上也一堆坑,也很多问题直接就是无解 |
26 SIGEV13 2022-01-04 23:55:45 +08:00 红帽子的 Ceph 服务挺好的,让运维评估一下吧。 https://www.redhat.com/en/technologies/storage/ceph |
![]() | 28 Akiya 2022-01-04 23:58:45 +08:00 ceph 挺好,但是几个人肯定搞不定,专门开个部门差不多 |
![]() | 29 mritd 2022-01-05 08:30:24 +08:00 via iPhone Longhorn? 逃 |
30 Judoon 2022-01-05 09:06:54 +08:00 ceph 可以的,推荐先自己搭建 ceph 然后用 ceph-csi 对接 k8s ,再考虑要不要用 rook 项目 19 年我也做私有化部署,物理机超融合方案,k8s+ceph+应用,全在一起 |
![]() | 31 PyTx 2022-01-05 09:34:52 +08:00 红帽的很贵,性价比还不如买华为的分布式存储,如果还觉得贵,可以考虑其他家比如杉岩、XSKY 、浪潮、新华三、深信服之类的商用 ceph ,如果打算采购商用的话;如果不考虑采购商用建议找多几个人上开源版本,就是维护、调优啥都自己搞而已,开源的话人数少不建议采用,忒麻烦了 |
32 salmon5 2022-01-05 09:39:23 +08:00 上云 |
![]() | 33 PyTx 2022-01-05 09:40:49 +08:00 @PyTx 如果实在想私有化,但是不知道哪家,可以考虑去 IDC 看一下最新的中国软件定义存储(SDS)市场跟踪报告,这里面有些数据可以提供参考 |
34 zhujq 2022-01-05 09:42:32 +08:00 存储坑多,很多不是拿来能用的 |
35 xin053 2022-01-05 09:49:47 +08:00 ceph 还是挺好用的,就是运维比较复杂,另外不建议使用 rook ,我这边是 ceph-ansible 非容器化部署的 ceph 集群给 openstack 用,以及 ceph-csi-rbd 作为 k8s 的 storageclass |
![]() | 38 xiaooloong 2022-01-05 22:17:37 +08:00 longhorn 0.7 的时候试过,不靠谱。后来干脆直接有状态不上 k8s 。 |
![]() | 39 Akiya 2022-01-06 11:56:34 +08:00 要采购,而且还要国产那无非就是华为浪潮这几家呗 |