小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥
1 CodeWind 2023-03-13 21:29:56 +08:00 乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。 计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。 |
![]() | 2 tftk 2023-03-13 21:57:35 +08:00 个人搞个集群使用场景是啥呢 |
4 optional 2023-03-13 22:05:48 +08:00 klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。 |
![]() | 8 levelworm 2023-03-13 22:18:57 +08:00 via Android @wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。 |
![]() | 9 ysicing 2023-03-13 22:20:58 +08:00 ![]() 搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。 国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs 香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式 目前体验还行,除了 prometheus 需要控制一下,其他都还行。 |
![]() | 10 Actrace 2023-03-13 22:27:20 +08:00 怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。 毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。 |
![]() | 11 lhx2008 2023-03-13 22:33:27 +08:00 真到了生产其实也不建议搞数据库,维护很困难 |
![]() | 12 lhx2008 2023-03-13 22:36:45 +08:00 本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn |
![]() | 13 sniperking1234 2023-03-13 22:46:55 +08:00 @Actrace 出了问题怎么办,调试 AI 源码? |
![]() | 16 liuhan907 2023-03-13 23:07:56 +08:00 我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。 |
17 securityCoding 2023-03-13 23:31:47 +08:00 via Android ![]() 公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了 |
18 NXzCH8fP20468ML5 2023-03-14 01:38:05 +08:00 ![]() 通通都扔到 s3 上,计算和存储分离 |
19 yzld2002 2023-03-14 07:52:48 +08:00 |
![]() | 20 idblife 2023-03-14 08:50:51 +08:00 via iPhone @securityCoding vscode ssh remote |
![]() | 21 leaflxh 2023-03-14 09:27:21 +08:00 ![]() nfs 或者 minio |
![]() | 23 hzfyjgw 2023-03-14 09:48:12 +08:00 ![]() local-path-provisioner 的 local-path-storage |
24 securityCoding 2023-03-14 12:01:51 +08:00 via Android @idblife 试了好几次用不习惯,全家桶太香了 |
25 Cola98 OP 后续来了,最后还是选择用 openEBS hostpath 的方法,使用简单,之前用过 lvm 的方式,需要在每个节点上配置比较麻烦,还有一些其他的 CSI 还没测试过,比如 juiceFS 等等,有机会了打算在继续尝试下,感谢各位大佬的回复! |
![]() | 26 vhwwls 2023-03-14 14:21:49 +08:00 裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的,我是一直在笔记本上跑集群 https://ppt.cc/fayiex |
28 sampeng 2023-03-14 19:54:06 +08:00 个人搞 k8s 实在想不出有什么价值。。。 |
30 zhujq 2023-03-15 17:09:43 +08:00 ![]() 自己用还是不要用 rook ,ceph 了吧,除了耗资源想不出其他好处 |
![]() | 32 pmx1990 2023-03-29 22:20:50 +08:00 重要数据 local + 主从 |
![]() | 33 vhwwls 2023-03-30 14:43:16 +08:00 @root01 #27 没做什么笔记,就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看 |
![]() | 34 runzhliu 2023-04-12 16:39:15 +08:00 这个节点的配置,想跑这么多组件,感觉是够呛的了 |
38 njmaojing 2024-06-28 09:21:19 +08:00 其实我觉得吧,既然要部署 mysql ,es 啥的,要么虚拟机部署,要不就静态 POD 方式,用分布式存储如果出问题解决起来就比较蛋疼了 |