看看大佬们的个人 K8S 集群以及存储方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Cola98
V2EX    Kubernetes

看看大佬们的个人 K8S 集群以及存储方案

  •  
  •   Cola98 2023-03-13 21:15:59 +08:00 5231 次点击
    这是一个创建于 943 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥

    39 条回复    2024-06-29 08:48:17 +08:00
    CodeWind
        1
    CodeWind  
       2023-03-13 21:29:56 +08:00
    乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。
    计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。
    tftk
        2
    tftk  
       2023-03-13 21:57:35 +08:00
    个人搞个集群使用场景是啥呢
    wxw752
        3
    wxw752  
       2023-03-13 22:01:48 +08:00
    @tftk 对于我来说就是模拟实战,不会就没法在公司用。
    optional
        4
    optional  
       2023-03-13 22:05:48 +08:00
    klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。
    Cola98
        5
    Cola98  
    OP
       2023-03-13 22:12:25 +08:00
    @optional ok 之前没有注意到这点,一直都是 CSI 这种,感谢大佬
    Cola98
        6
    Cola98  
    OP
       2023-03-13 22:13:37 +08:00
    @CodeWind 了解,我看 hostpath 好像发生调度之后就会使用不了,所以就没考虑过 hostpath
    Cola98
        7
    Cola98  
    OP
       2023-03-13 22:14:24 +08:00
    @tftk 和楼下大哥一样,主要是个人学习和开发~
    levelworm
        8
    levelworm  
       2023-03-13 22:18:57 +08:00 via Android
    @wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。
    ysicing
        9
    ysicing  
       2023-03-13 22:20:58 +08:00   1
    搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。
    国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs
    香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式

    目前体验还行,除了 prometheus 需要控制一下,其他都还行。
    Actrace
        10
    Actrace  
       2023-03-13 22:27:20 +08:00
    怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。
    毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。
    lhx2008
        11
    lhx2008  
       2023-03-13 22:33:27 +08:00
    真到了生产其实也不建议搞数据库,维护很困难
    lhx2008
        12
    lhx2008  
       2023-03-13 22:36:45 +08:00
    本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn
    sniperking1234
        13
    sniperking1234  
       2023-03-13 22:46:55 +08:00
    @Actrace 出了问题怎么办,调试 AI 源码?
    echo1937
        14
    echo1937  
       2023-03-13 23:03:09 +08:00
    @Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。
    hhjswf
        15
    hhjswf  
       2023-03-13 23:05:42 +08:00 via Android
    @CodeWind 单 master 也能算集群吗
    liuhan907
        16
    liuhan907  
       2023-03-13 23:07:56 +08:00
    我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。
    securityCoding
        17
    securityCoding  
       2023-03-13 23:31:47 +08:00 via Android   1
    公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了
    NXzCH8fP20468ML5
        18
    NXzCH8fP20468ML5  
       2023-03-14 01:38:05 +08:00   1
    通通都扔到 s3 上,计算和存储分离
    yzld2002
        19
    yzld2002  
       2023-03-14 07:52:48 +08:00
    idblife
        20
    idblife  
       2023-03-14 08:50:51 +08:00 via iPhone
    @securityCoding
    vscode ssh remote
    leaflxh
        21
    leaflxh  
       2023-03-14 09:27:21 +08:00   1
    nfs 或者 minio
    Cola98
        22
    Cola98  
    OP
       2023-03-14 09:42:28 +08:00
    @liuhan907 确实,rook 对于我目前的配置还是太大了
    hzfyjgw
        23
    hzfyjgw  
       2023-03-14 09:48:12 +08:00   1
    local-path-provisioner 的 local-path-storage
    securityCoding
        24
    securityCoding  
       2023-03-14 12:01:51 +08:00 via Android
    @idblife 试了好几次用不习惯,全家桶太香了
    Cola98
        25
    Cola98  
    OP
       2023-03-14 12:58:43 +08:00
    后续来了,最后还是选择用 openEBS hostpath 的方法,使用简单,之前用过 lvm 的方式,需要在每个节点上配置比较麻烦,还有一些其他的 CSI 还没测试过,比如 juiceFS 等等,有机会了打算在继续尝试下,感谢各位大佬的回复!
    vhwwls
        26
    vhwwls  
       2023-03-14 14:21:49 +08:00
    裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的,我是一直在笔记本上跑集群
    https://ppt.cc/fayiex
    root01
        27
    root01  
       2023-03-14 15:05:49 +08:00
    @vhwwls 求分享笔记
    sampeng
        28
    sampeng  
       2023-03-14 19:54:06 +08:00
    个人搞 k8s 实在想不出有什么价值。。。
    Cola98
        29
    Cola98  
    OP
       2023-03-15 07:29:18 +08:00
    @sampeng 自己开发和学习用= =
    zhujq
        30
    zhujq  
       2023-03-15 17:09:43 +08:00   1
    自己用还是不要用 rook ,ceph 了吧,除了耗资源想不出其他好处
    Cola98
        31
    Cola98  
    OP
       2023-03-15 21:18:54 +08:00
    @zhujq 是的,现在用了 openEBS
    pmx1990
        32
    pmx1990  
       2023-03-29 22:20:50 +08:00
    重要数据 local + 主从
    vhwwls
        33
    vhwwls  
       2023-03-30 14:43:16 +08:00
    @root01 #27 没做什么笔记,就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看
    runzhliu
        34
    runzhliu  
       2023-04-12 16:39:15 +08:00
    这个节点的配置,想跑这么多组件,感觉是够呛的了
    Cola98
        35
    Cola98  
    OP
       2023-04-12 17:56:49 +08:00
    @runzhliu 嗯嗯,后续不打算使用 es 了,太占用资源了
    njmaojing
        36
    njmaojing  
       2024-06-24 10:58:50 +08:00
    @Cola98 openEBS local 方式这段时间用的咋样啊,坑多么
    Cola98
        37
    Cola98  
    OP
       2024-06-24 20:15:23 +08:00
    @njmaojing 还行,就是需要注意漂移问题
    njmaojing
        38
    njmaojing  
       2024-06-28 09:21:19 +08:00
    其实我觉得吧,既然要部署 mysql ,es 啥的,要么虚拟机部署,要不就静态 POD 方式,用分布式存储如果出问题解决起来就比较蛋疼了
    Cola98
        39
    Cola98  
    OP
       2024-06-29 08:48:17 +08:00
    @njmaojing 确实,这个问题还是比较难解决了,k8s 好处就是部署比较简单,使用起来方便;但是出了问题就不好维护,需要懂 K8S 和相关中间件
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1148 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 17:41 PVG 01:41 LAX 10:41 JFK 13:41
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86