有没有镜像两家云的对象储存加缓存,或者自建轻量一点的跨云储存的集群。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
joyanhui
V2EX    程序员

有没有镜像两家云的对象储存加缓存,或者自建轻量一点的跨云储存的集群。

  • nbsp;
  •   joyanhui 2023-12-08 19:43:30 +08:00 1890 次点击
    这是一个创建于 680 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一个写多,读取较少的环境。一分钟新建几万个文件,文件大小 10k 以内。读取相对向较少。

    目前总体不到 20G.

    可以接受短时间( 5 分钟以内)的少许文件丢失。

    目前是用的阿里云 oss 因为写入频率太高,费用比较高。上个月阿里云故障的时候,增加了华为和腾讯的对象储存做备份。也只是定时同步了一下,没有启用。

    自建 minio 感觉有一点太重了,不知道有没有别的轻量的方案。

    或者有没有让两家云储存合并到一起,两边数据基本一致,只要有一个可用就可用的方法。最好还有本地读写缓存。。。

    研究了一下 rclone 的 union ,但是好像 他写就是只往第一个非 ro nc 的后端写,没测试出来第一个后端不可用的时候他是什么逻辑。

    9 条回复    2023-12-10 11:31:04 +08:00
    knives
        1
    knives  
       2023-12-09 13:37:53 +08:00
    自建跨云的对象存储,对空间没有太多要求的话,可以试试 https://github.com/deuxfleurs-org/garage

    本地读写缓存就是另外一种东西了。可以试试 https://juicefs.com/zh-cn/
    ljn95869
        2
    ljn95869  
       2023-12-09 17:02:08 +08:00 via Android
    我用的又拍云,你可以试试能不能满足你的要求
    joyanhui
        3
    joyanhui  
    OP
       2023-12-09 19:26:27 +08:00
    @knives 谢谢,在尝试 garage 和 rclone union

    juicefs 没搞懂,他是数据存储使用另外的 s3 储存,然后提供本地的读写加速对吗?然后再异步同步到其他 s3 里面
    joyanhui
        4
    joyanhui  
    OP
       2023-12-09 19:27:25 +08:00
    @ljn95869 和用阿里/华为 没区别吧?不知道 又拍云有什么特殊的特性?
    rekulas
        5
    rekulas  
       2023-12-09 19:27:54 +08:00   1
    我觉得可以设置一家相对较稳的作为存储并开 cdn,再找一家备用平台开 cdn 并设置源为第一家并预缓存文件就行了
    就算第一家出问题一般也会 1-3 内恢复,第二家也能用
    joyanhui
        6
    joyanhui  
    OP
       2023-12-09 19:30:54 +08:00
    @knives juicefs 把元数据储存到本地的 redis 中,然后在首次读取的时候会从其他的对象储存里面拉取,如果元数据没发生变化,第二次读取就从本机缓存里面拉取。 写入的时候,也是先写到本地,然后再异步到其他对象储存 。 是这个意思吗
    joyanhui
        7
    joyanhui  
    OP
       2023-12-10 06:44:11 +08:00 via Android
    @rekulas 文件储存,和 cdn 无关
    knives
        8
    knives  
       2023-12-10 10:26:46 +08:00
    @joyanhui 和你理解的基本一致。juicefs 支持本地的读写缓存。本地缓存默认是 100GB 的空间,可以按需调整大小。读缓存默认开启,写缓存要手动开启(默认是同步写)。官方建议仅大量写入小文件时开启写缓存,具体原理看官方文档。

    另外,如果挂载的盘没有共享使用的需求,可以使用本地的元数据引擎来简化架构,如 sqlite3 。

    还有,garage 的基本原理是多区域副本镜像。rclone union 是多云空间合并使用,与 garage 不在一个路子上。
    joyanhui
        9
    joyanhui  
    OP
       2023-12-10 11:31:04 +08:00
    @knives 非常感谢,我昨天看了 juicefs 的本地缓存部分应该是我想用的。

    rclone union 我不自建的情况下,可以用他的多端写入和 newest 的读取策略,加 vfs 的缓存,配合我手动同步两个 remote 好像也可以实现我想要的。还在测试效果。

    garage 准备今天试试看看
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2569 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 22ms UTC 02:26 PVG 10:26 LAX 19:26 JFK 22:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86