k8s 分布式存储 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
pydiff
V2EX    Kubernetes

k8s 分布式存储

  •  
  •   pydiff 2022-01-04 16:30:38 +08:00 6894 次点击
    这是一个创建于 1380 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在调研 k8s 上有状态应用,关于分布式存储方面,对比了下,打算用 ceph ,想看看大家生产上的 k8s 都是用什么存储的

    第 1 条附言    2022-01-04 17:02:12 +08:00
    或者大家有没有使用得比较好的商业的产品,稳定好用的就行,要支持私有化部署的
    第 2 条附言    2022-01-04 23:50:47 +08:00

    参考了下大家的回答,目前我们这边偏向于外购来私有化部署,有没有哪位大佬用过比较好的商业产品

    42 条回复    2022-06-10 20:33:40 +08:00
    yijihu
        1
    yijihu  
       2022-01-04 16:34:34 +08:00
    ceph nfs 一起用
    vicalloy
        2
    vicalloy  
       2022-01-04 16:39:40 +08:00
    我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话,部分 IO 敏感的应用是否不上 K8S ?
    pydiff
        3
    pydiff  
    OP
       2022-01-04 16:40:05 +08:00
    @yijihu 我这边目前已经用 nas 做 nfs 在用,但是还是想看看其他的,ceph 坑多吗
    tommydong
        4
    tommydong  
       2022-01-04 16:40:51 +08:00 via iPhone
    ceph 坑还是很多的,小 team 不建议用
    pydiff
        5
    pydiff  
    OP
       2022-01-04 16:41:10 +08:00
    @vicalloy 我这边自建的单个 nas 的 iops 最大可以达到 4w ,不知道够不够,预计上几万个容器
    pydiff
        6
    pydiff  
    OP
       2022-01-04 16:41:33 +08:00
    @tommydong 不是小 team ,就是之前大家都没接触过而已
    defunct9
        7
    defunct9  
       2022-01-04 16:52:51 +08:00
    glusterfs
    liaohongxing
        8
    liaohongxing  
       2022-01-04 16:53:40 +08:00
    存储附件还马马虎虎 ,要是放 mysql , 你要哭 ,试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右,忍住没上 k8s
    flexbug
        9
    flexbug  
       2022-01-04 16:53:49 +08:00 via Android
    minio 可以看看
    CallMeReznov
        10
    CallMeReznov  
       2022-01-04 16:57:26 +08:00
    维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸.
    至今仍有阴影.
    hxsf
        11
    hxsf  
       2022-01-04 17:40:48 +08:00
    已经有 nas 的话,直接试试 iscsi ?
    tommydong
        12
    tommydong  
       2022-01-04 17:48:55 +08:00 via iPhone
    都没接触过更不建议了,ceph 真心复杂
    szq8014
        13
    szq8014  
       2022-01-04 17:50:45 +08:00
    @CallMeReznov 哈哈哈哈 哈哈 哈哈
    uyZL3221XZ2xGZ3D
        14
    uyZL3221XZ2xGZ3D  
       2022-01-04 17:57:38 +08:00
    @tommydong 我记得部署就挺复杂的吧
    pydiff
        15
    pydiff  
    OP
       2022-01-04 17:58:59 +08:00
    @tommydong 这个可以学的嘛,反正有好几个人搞
    tommydong
        16
    tommydong  
       2022-01-04 18:46:40 +08:00
    @tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了
    Reficul
        17
    Reficul  
       2022-01-04 19:41:59 +08:00
    @tommydong

    前同事在他上上家跑路的原因就是因为 Ceph ,hhhhh 。据说是因为一个极小概率发生的数据不一致问题,debug 了 1 个多月毫无头绪最后羞愧辞职。
    zmxnv123
        18
    zmxnv123  
       2022-01-04 19:59:54 +08:00
    拒绝在生产环境使用 c++ 写的开源产品,主要是太复杂了,根本 hold 不住。
    FullBridgeRect
        19
    FullBridgeRect  
       2022-01-04 22:20:28 +08:00
    商用私有化产品 openstack ?不过这个东西就更复杂了哈哈哈
    分布式存储主流的是 ceph glusterfs 这两个,如果单机存储比较充足可以用 iscsi 对外,或者有买存储服务器的就更省事了
    还有个项目是在 k8s 上面搭 ceph 的,叫 rook ceph ,我没用过不知道坑有多大

    ===
    涉及存储都是一堆坑,k8s 自己又是另一堆坑,我们用阿里云 aws 上 k8s 还是在坑里打滚
    Deardrops
        20
    Deardrops  
       2022-01-04 22:29:52 +08:00
    iomesh 了解一下,国内公司 Smartx 推出,一键部署,社区版可以免费使用。性能不会比 ceph glusterfs 差。

    https://www.iomesh.com/
    https://www.smartx.com/
    Ranler
        21
    Ranler  
       2022-01-04 22:53:48 +08:00
    存储的坑比 k8s 的坑大

    自建 NAS 咋保证高可用和数据备份?
    fsdrw08
        22
    fsdrw08  
       2022-01-04 22:59:03 +08:00 via Android
    longhorn ?
    pydiff
        23
    pydiff  
    OP
       2022-01-04 23:44:55 +08:00 via iPhone
    @FullBridgeRect 我们在华为的 cce 上也一堆坑,也很多问题直接就是无解
    pydiff
        24
    pydiff  
    OP
       2022-01-04 23:45:29 +08:00 via iPhone
    @Ranler 硬件运维负责,躺枪不到我
    pydiff
        25
    pydiff  
    OP
       2022-01-04 23:47:30 +08:00 via iPhone
    @fsdrw08 这个玩意太少人用了,不知道里面坑怎么样,直接不考虑
    SIGEV13
        26
    SIGEV13  
       2022-01-04 23:55:45 +08:00
    红帽子的 Ceph 服务挺好的,让运维评估一下吧。
    https://www.redhat.com/en/technologies/storage/ceph
    pydiff
        27
    pydiff  
    OP
       2022-01-04 23:56:33 +08:00 via iPhone
    @SIGEV13 ok ,谢谢哈
    Akiya
        28
    Akiya  
       2022-01-04 23:58:45 +08:00
    ceph 挺好,但是几个人肯定搞不定,专门开个部门差不多
    mritd
        29
    mritd  
       2022-01-05 08:30:24 +08:00 via iPhone
    Longhorn? 逃
    Judoon
        30
    Judoon  
       2022-01-05 09:06:54 +08:00
    ceph 可以的,推荐先自己搭建 ceph 然后用 ceph-csi 对接 k8s ,再考虑要不要用 rook 项目

    19 年我也做私有化部署,物理机超融合方案,k8s+ceph+应用,全在一起
    PyTx
        31
    PyTx  
       2022-01-05 09:34:52 +08:00
    红帽的很贵,性价比还不如买华为的分布式存储,如果还觉得贵,可以考虑其他家比如杉岩、XSKY 、浪潮、新华三、深信服之类的商用 ceph ,如果打算采购商用的话;如果不考虑采购商用建议找多几个人上开源版本,就是维护、调优啥都自己搞而已,开源的话人数少不建议采用,忒麻烦了
    salmon5
        32
    salmon5  
       2022-01-05 09:39:23 +08:00
    上云
    PyTx
        33
    PyTx  
       2022-01-05 09:40:49 +08:00
    @PyTx 如果实在想私有化,但是不知道哪家,可以考虑去 IDC 看一下最新的中国软件定义存储(SDS)市场跟踪报告,这里面有些数据可以提供参考
    zhujq
        34
    zhujq  
       2022-01-05 09:42:32 +08:00
    存储坑多,很多不是拿来能用的
    xin053
        35
    xin053  
       2022-01-05 09:49:47 +08:00
    ceph 还是挺好用的,就是运维比较复杂,另外不建议使用 rook ,我这边是 ceph-ansible 非容器化部署的 ceph 集群给 openstack 用,以及 ceph-csi-rbd 作为 k8s 的 storageclass
    jabari
        36
    jabari  
       2022-01-05 10:16:44 +08:00
    @pydiff #3 ceph 的坑挺多的...需要专门的运维搞
    pydiff
        37
    pydiff  
    OP
       2022-01-05 11:55:33 +08:00 via iPhone
    @PyTx 国产化要求,红帽是不会采购的,好像那个 xsky 还行
    xiaooloong
        38
    xiaooloong  
       2022-01-05 22:17:37 +08:00
    longhorn 0.7 的时候试过,不靠谱。后来干脆直接有状态不上 k8s 。
    Akiya
        39
    Akiya  
       2022-01-06 11:56:34 +08:00
    要采购,而且还要国产那无非就是华为浪潮这几家呗
    vbggf
        40
    vbggf  
       2022-01-07 10:17:44 +08:00
    @pydiff 我在 XSKY ,方便留个联系方式么,我请服务团队的同事联系您,聊下您的具体需求?
    pydiff
        41
    pydiff  
    OP
       2022-01-07 15:58:44 +08:00 via iPhone
    @vbggf 不好意思哈,这个选型不是我能决定的,我们有专门联系厂商的人的
    codebee
        42
    codebee  
       2022-06-10 20:33:40 +08:00
    @xin053 不建议用 rook 的原因是什么呢,详细说说
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3131 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 11:50 PVG 19:50 LAX 04:50 JFK 07:50
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86