基于对象存储构建数据库、消息系统等基础软件已经成为一种新趋势了吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
metaluo
V2EX    推广

基于对象存储构建数据库、消息系统等基础软件已经成为一种新趋势了吗?

  •  3
     
  •   metaluo 2024-03-14 16:21:04 +08:00 2590 次点击
    这是一个创建于 575 天前的主题,其中的信息可能已经有所发展或是发生改变。

    消息系统

    • Confluent: 兑现了 Kafka KIP-405 的分层存储能力,将大量数据存储到 S3 来缓解其数据复制的压力和降低存储成本。
    • WarpStream: 闭源产品,兼容 Kafka API 的一个 Kafka 替代品,完全将 S3 上作为主存储。
    • Redpanda: 开源产品,可以看作是 Kafka 的一个 rust 实现版本,存储层也实现了和 Confluent 类似的分层存储来降本。
    • AutoMQ: 国人的开源产品,对 Kafka 底层存储做重新改造实现了一个存算分离的 Kafka 。底层也依赖对象存储作为主存储来进行降本。
    • Pulsar: 国人的开源产品。前面的都算 Kafka 生态的,这个属于自建生态。主打一个存算分离,也支持将数据卸载给对象存储来降本。
    • RocketMQ: 国人开源产品,在阿里在线业务大面积应用而发扬光大。5.x 冷热分离后也实现了类似 Kafka 的二级存储,冷数据可以利用对象存储降本。

    数据库

    • Snowflake: 应该是云原生基础软件的标杆产品,算是最早开始充分挖掘对象存储无限容量、弹性、低成本潜力的企业了
    • TiDB: 23 年开始应该也是洞悉到了这个趋势,后来推出了基于 S3 对象存储的 TiDB Serverless

    其他还有很多软件,你看他们软件迭代的 roadmap ,基于都可以观察到,对象存储重塑基础软件似乎已经成为了一个潮流。不过仔细想想,这也合理,对象存储提供了太多优异的特质了:

    • 无限的存储容量:无限扩展的容量
    • 近乎无限的吞吐:几十 GB/s 的吞吐(不够可以找云厂商再开 limit )
    • 极致弹性,pay-as-you-go: 按照 API 、实际存储容量来按需收费。用多少花多少钱
    • 内建免费的跨 zone 多副本容灾:内建可用区容灾的能力,而且免流量费。基于对象存储构建具备跨可用区容灾能力的应用将会非常轻松。
    • 极低的存储存本:相比其提供的技术能力来看,其存储成本非常低,比 SSD 有一个数量级的成本优势

    大家怎么看?

    12 条回复    2024-03-15 14:46:07 +08:00
    xbo586
        1
    xbo586  
       2024-03-14 17:31:18 +08:00
    其实主要还是为了适应 Serverless 的趋势,上云降本增效。
    yjhatfdu2
        2
    yjhatfdu2  
       2024-03-14 17:32:20 +08:00
    云场景、实时性要求不高的场景有成本和灵活性优势,非云场景或者实时性要求高的场景就不适合了
    metaluo
        3
    metaluo  
    OP
       2024-03-14 17:46:13 +08:00
    @xbo586 是的,本质是对象存储是一个非常好的弹性基础存储设施。不过云下也不是不能做,自己用 minio 这类开源对象存储解决方案成本也比使用 ssd 低廉的多。
    metaluo
        4
    metaluo  
    OP
       2024-03-14 17:49:52 +08:00
    @yjhatfdu2 实时性要求高可以配合小容量的云盘来做软件设计呀。小容量的 SSD (小于 10GB )每个月就几十块,automq 就是这么干的。非云场景本质和云是一样的,只不过是私有云,没有云规模化的技术红了和成本优势。自建机房自己配 minio+ssd 也一样的。
    zhouxinyu
        5
    zhouxinyu  
       2024-03-14 18:51:14 +08:00
    我再补充两个有意思的项目:
    zhouxinyu
        6
    zhouxinyu  
       2024-03-14 18:56:47 +08:00
    我再补充两个有意思的项目:
    1. neon: https://github.com/neondatabase/neon
    2. dolt: https://github.com/dolthub/dolt

    里面基于对象存储做了很多数据共享方面的产品创新。云计算聚集了超大的规模,“无限容量”的低成本对象存储将成为数据密集型软件的唯一选择,同时基于共享存储的各类数据互通,格式互认,甚至完全的 Zero ETL 都正在发生。
    adoal
        7
    adoal  
       2024-03-14 19:07:18 +08:00
    把软件架构里部非随机、非高密读写的存储功能放到对象存储,大概是最具有可操作性的云原生化了。
    adoal
        8
    adoal  
       2024-03-14 19:08:49 +08:00
    一个软件系统里真需要高频随机读写,不能日志化的操作,其实不会很多的。
    metaluo
        9
    metaluo  
    OP
       2024-03-14 19:09:26 +08:00
    补充下:redpanda 是 C++写的,不是 rust ,上面写的有误更正下
    CEBBCAT
        10
    CEBBCAT  
       2024-03-14 20:37:09 +08:00
    @Livid 疑似 spam/SEO ,楼主个人主页强 AutoMQ 相关,automq.com 看到提供商业服务。同时 AutoMQ 在本站有多个相关账号疑似都在 spam:

    @wan0573 /t/1009957 /t/1016260 /t/1021131
    @zhouxinyu /t/1012517 /t/1011144
    @AutoMQ /t/1013691

    以上列举 topic 均不在“推广”等分区,以云计算/程序员居多
    zhouxinyu
        11
    zhouxinyu  
       2024-03-15 12:39:34 +08:00
    @CEBBCAT 很抱歉,我们后面加上利益相关的说明。另外就是,AutoMQ 的代码是开源的,而且我们主要是在 V2EX 上输出一些云原生的技术观点,跟大家交流,我不认为这算是「 spam 」。cc @Livid
    Livid
        12
    Livid  
    MOD
    PRO
       2024-03-15 14:46:07 +08:00
    @zhouxinyu 请发到 /go/promotions 节点

    help/node

    这个主题现在已经被移动。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4039 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 05:21 PVG 13:21 LAX 22:21 JFK 01:21
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86