求助:打算让业务 Pod 在 K8s 的 master 节点上运行,有哪些点需要注意? - V2EX
zhoudaiyu

求助:打算让业务 Pod 在 K8s 的 master 节点上运行,有哪些点需要注意?

  •  
  •   zhoudaiyu
    PRO
    Jun 21, 2023 1879 views
    This topic created in 1056 days ago, the information mentioned may be changed or developed.
    我们的 1.24.4 的生产 K8s 集群机器是 13 台 ARM 架构物理机搭建的,计算资源配置是 64C 、384G ,其中有 3 台是 master 节点,目前只跑了 master 的组件,如 api-server 、scheduler 、controller-manager 、kubelet 、etcd 等,因为现在计算资源紧张,而且如此高性能的 master 节点只跑这些组件缺失感觉有些浪费。因此打算把 master 也加入业务容器可调度的节点方位内。目前有两种方案,第一种:我们人工选择部分业务并配置容忍 master 不可调度的污点(修改应用的 Deployment )来实现他们在 master 节点的运行,由于我们有一些应用的资源使用的统计数据,因此对 master 节点的影响较为可控(比较担心影响 etcd ,虽然 IO 层面 master 节点的 etcd 的目录在单独的磁盘上,但是还是怕计算资源不够用);还有一种方式是直接把 master 的污点给去掉,让 Pod 可以随便调度到 master 节点上,这样比较省事,不用我们筛选应用,但是非常担心 master 的组件受到的应用影响,从而集群失控。请问大家对这 2 套方案有啥建议呢?十分感谢!
    6 replies    2023-06-22 16:26:32 +08:00
    defunct9
        1
    defunct9  
       Jun 21, 2023
    当然第一种
    defunct9
        2
    defunct9  
       Jun 21, 2023   1
    理由是我们 ingress 很闲置,就被随便调度 pod 上去了,然后一个节点就宏机了,瞬间山河一片红,pod 大批量迁移。
    所以打了污点禁止调度到 ingress 。你这个情况要调度也只能调度你知根知底的 pod 上去,放开随便调度就是找死。
    asilin
        3
    asilin  
       Jun 21, 2023   1
    k8s 内建支持这种特性,将污点的值改为 PreferNoSchedule 即可,表示 Pod 不到万不得已不会调度到 master 节点
    wandehul
        4
    wandehul  
       Jun 21, 2023
    还是不建议调度到 master 上去, 完全是给自己找事情
    CheckMySoul
        5
    CheckMySoul  
       Jun 21, 2023
    选第一种,调度来的应用严格配置 CPU 内存临时磁盘限制。或者你找下,把 ingress 之类的资源从计算挪到控制节点,腾出计算资源。
    yb8Qes1Qae01H0xy
        6
    yb8Qes1Qae01H0xy  
       Jun 22, 2023
    master 机器用 kvm 做个虚拟化,搞成几台 VM ,master 放其中一台 VM (绑定物理 core ,避免争抢),其他 VM 拿出来调度 pod 。
    About     Help     Advertise     Blog     API     FAQ     Solana     1173 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 39ms UTC 23:16 PVG 07:16 LAX 16:16 JFK 19:16
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86