几万条数据批量写入消息队列哪种支持好 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jugelizi
V2EX    Java

几万条数据批量写入消息队列哪种支持好

  •  
  •   jugelizi 2020-04-19 12:12:27 +08:00 5792 次点击
    这是一个创建于 2004 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一次性发送短信 写到消息队列一条条发送 那么写入时一条条写进去 用哪种消息队列合适啊

    22 条回复    2020-04-20 19:16:15 +08:00
    areless
        1
    areless  
       2020-04-19 12:23:46 +08:00 via Android
    我用 redis 或者共享内存加外部脚本,在 nginx 形成一个漏桶模型写入负载~~~因为我不相信会持续几万条。分摊到时间也就几分钟
    kuafou
        2
    kuafou  
       2020-04-19 12:27:36 +08:00
    丢 kafka 里没有任何压力
    rockyou12
        3
    rockyou12  
       2020-04-19 12:29:56 +08:00   1
    才几万条……扔 kafka 它感觉都没有
    hncqp
        4
    hncqp  
       2020-04-19 12:32:03 +08:00 via iPhone
    kafka
    misaka19000
        5
    misaka19000  
       2020-04-19 12:34:36 +08:00
    redis or kafka
    Mmiracle110
        6
    Mmiracle110  
       2020-04-19 12:45:00 +08:00
    kafka rocketmq 都行吧
    watzds
        7
    watzds  
       2020-04-19 12:45:12 +08:00 via Android
    这么点哪种会有压力啊
    niubee1
        8
    niubee1  
       2020-04-19 14:24:43 +08:00
    这个 tinny 级别的数据量, 随便啥都能行
    billlee
        9
    billlee  
       2020-04-19 14:25:07 +08:00
    几万条批量写入用 mysql 存都没有压力(当然不推荐这样搞)
    cominghome
        10
    cominghome  
       2020-04-19 14:37:18 +08:00
    楼主这个问题其实可以引申为“不要过早优化”。因为大部分被关注的框架、中间件性能方面都不会有很严重的问题,你只需要考虑易用和后续支持就可以了。几万条的数据给 rocketmq 这种 warm up 可能都做不到(当然,我不知道 rocketmq 有没有 warm up 这个过程)
    wangyzj
        11
    wangyzj  
       2020-04-19 15:32:14 +08:00
    任何都行
    L1shen
        12
    L1shen  
       2020-04-19 16:19:41 +08:00
    rabbitmq
    binbinyouliiii
        13
    binbinyouliiii  
       2020-04-19 17:21:15 +08:00 via Android   3
    kafka:"开始了吗?" 程序:"已经结束了"
    hspeed18
        14
    hspeed18  
       2020-04-19 18:16:54 +08:00
    搞笑,几万条有个鸡儿的压力
    xcstream
        15
    xcstream  
       2020-04-19 18:27:36 +08:00
    放在数组里 循环吧(滑稽)
    onely
        16
    Lonely  
       2020-04-19 19:01:50 +08:00 via iPhone
    市面上常用的随便一款都行吧
    zxlzy
        17
    zxlzy  
       2020-04-19 19:11:58 +08:00 via Android
    才几万条数据,你随便哪个都行啊。
    RedBeanIce
        18
    RedBeanIce  
       2020-04-19 19:32:50 +08:00
    @binbinyouliiii 原谅我笑了
    Aresxue
        19
    Aresxue  
       2020-04-19 22:51:09 +08:00
    才几万条。。。别引入中间件了,直接用个线程池得了
    feelinglucky
        20
    feelinglucky  
       2020-04-20 11:15:40 +08:00
    数据库不大,我估计楼主是对可靠性的诉求更多一点吧?
    raysonlu
        21
    raysonlu  
       2020-04-20 13:46:09 +08:00
    你是担心大量写进去导致崩溃还是什么?分享一个案例,几万条数据写入 redis 队列,写入请求一下子就完成没问题,但即时查询队列时,部分数据依然查不到,等个一两分钟就好了,疑似 redis 接收了请求和再一一写入。
    jugelizi
        22
    jugelizi  
    OP
       2020-04-20 19:16:15 +08:00 via iPhone
    @raysonlu 我就是想 redis 有个管道可以批量写入 其他的队列没找到
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2953 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 14:05 PVG 22:05 LAX 07:05 JFK 10:05
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86