minio 一个坑爹的设计 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
guoguobaba
V2EX    Linux

minio 一个坑爹的设计

  •  
  •   guoguobaba 2023-07-27 11:57:03 +08:00 3937 次点击
    这是一个创建于 886 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前的业务系统,使用腾讯云的 cos 对象存储,每个系统对应一个 bucket ,配腾讯云的 ak

    后来系统多了,我就想用 minio 做一层 wrapper ,使用一个腾讯云的 ak ,然后 minio 上自己管理 ak ,给每个系统分配一个,现在 k8s 里用 cosfs-csi 创建一个 pvc ,然后用 minio 把 pvc 创建一个 minio server

    结果一个星期后,我发现,我存在腾讯云的 50 块钱都被耗光了,查询了一下,改造前的读写次数是个位数,改造后,cos 的读写每天有 160w

    提了 cos 的一个工单,让他们给我传了一下访问日志,发现 minio 极其频繁的读/.minio.sys/目录,这可能存放了临时信息和 meta 信息,导致 cos 的读写每天都到 160w 次。

    真 tmd 的是大坑啊

    现在想想怎么改造,想把/.minio.sys 挂在一个本地 pvc 上,结果 minio 还不允许跨分区目录,估计要修改源代码了。

    12 条回复    2023-07-28 10:37:21 +08:00
    xudaxian520bsz
        1
    xudaxian520bsz  
       2023-07-27 12:38:58 +08:00
    为什么不自己自建 pvc ,就画个买外置硬盘的钱,又没多少。开源的 PVC 太多了,你不会手动搭建 Ceph ,Rook 可以帮你维护搭建,Helm 一键安装
    xudaxian520bsz
        2
    xudaxian520bsz  
       2023-07-27 12:39:19 +08:00
    画 == 花
    jeesk
        3
    jeesk  
       2023-07-27 13:07:45 +08:00
    minio 本来就是垃圾,速度慢得死
    star7th
        4
    star7th  
       2023-07-27 13:14:24 +08:00
    是你的用法不对,别抱怨人家的设计。

    /.minio.sys/目录本来的设计是在本地磁盘的,谁预料到你会放上 cos 。

    解决你这种分发的需求,自己写个代理就行,用 nodejs/go 之类的语言写会非常合适。如果你自己不想写,你就只能接受现成程序不吻合你的需求的心理准备
    guoguobaba
        5
    guoguobaba  
    OP
       2023-07-27 13:41:22 +08:00
    @xudaxian520bsz 这不是 cos 便宜吗,没想到容量和读写请求一样要收费。
    imnpc
        6
    imnpc  
       2023-07-27 13:41:58 +08:00
    使用云的就老老实实用云 绝对不要自己改 因为里面很多东西会产生问题的
    读写次数这个最常见 以前挂载 OSS 到本机运行备份 导致读写次数很快超标 耗尽费用
    ynkkdev
        7
    ynkkdev  
       2023-07-27 13:43:06 +08:00
    开源对象存储使用在云服务的对象存储作为底层存储,上一次见到这么离谱的事情还是:VMware 跑在 docker 里面
    zzl22100048
        8
    zzl22100048  
       2023-07-27 13:50:36 +08:00
    你需要的是 minio gateway 吧
    guoguobaba
        9
    guoguobaba  
    OP
       2023-07-27 13:52:16 +08:00
    @youngce 为什么不是 docker 跑在 vm 里? minio 本来有 gateway 的模式,但是新版本取消了。从原理来讲,gateway 只是做了一层 wrapper ,相当于 http 代理而已。
    至于 oss 做 pvc ,这个很正常,s3fs 出来好多年了。
    akira
        10
    akira  
       2023-07-27 14:16:12 +08:00
    这个需求改动成本,几百块应该下不来吧。。
    jabari
        11
    jabari  
       2023-07-27 15:06:11 +08:00
    oss 做 pvc 很正常的。了解一下 juicefs
    ryan4yin
        12
    ryan4yin  
       2023-07-28 10:37:21 +08:00
    juicefs 的性能会好很多,它多了一层抽象,可以帮你做很多读写合并操作。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3272 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 04:51 PVG 12:51 LAX 20:51 JFK 23:51
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86