关于 RocketMQ 的一个 ConsumerGroup 订阅多个 Topic 的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
deku9
V2EX    Java

关于 RocketMQ 的一个 ConsumerGroup 订阅多个 Topic 的问题

  •  
  •   deku9 158 天前 2066 次点击
    这是一个创建于 158 天前的主题,其中的信息可能已经有所发展或是发生改变。
    常理来说一个 consumerGroup 是支持多个 Topic 的,但是今天看到一篇文章说可能出现监听不到的情况。
    详情见链接: https://juejin.cn/post/7111304477180706830
    最后该作者得出的结论是:同一个 ConsuerGroup 多个 topic ,消息消费的时候,同一个 ComsumerGroup 只有一个 Consumer 可以消费,但是我们监听上写死了 topic ,其他的 topic 是监听不到的。
    但是我还是不太能理解,有无大佬能解释一哈
    10 条回复    2025-05-06 14:50:36 +08:00
    rrfeng
        1
    rrfeng  
       158 天前 via Android
    不懂 rmq ,它当年官方文档垃圾的什么都找不到。

    kafka 的话,consumer group 是从属于 topic 的,不存在 「一个 consumer group 消费多个 topic 」这种概念…
    F281M6Dh8DXpD1g2
        2
    F281M6Dh8DXpD1g2  
       158 天前
    @rrfeng 一个 group id 确实可以记录多个 topic 的 offset
    Red998
        3
    Red998  
       158 天前
    一个 topic 可以同时被多个消费组消费、每个组消费隔离互不影响。但是一个 topic 的队列只能被一个消费者组中的一个消费者消费。 集群模式下貌似是这样 。mq 支持的 只不过集成那些自己实现?
    dddd1919
        4
    dddd1919  
       158 天前   1
    这个示例的用法本身就有问题,同一个 consumerGroup 代表的是配置和行为相同的一组消费实例,应该定义到一个 listener 入口下。链接示例的两个 listener 使用同一个 consumerGroup 但 topic 配置不同会引发未知的风险比如订阅覆盖,如果订阅两个 topic 但处理逻辑一致,那就可以直接 topic = {"topic_A", "topic_B"},拆开写的方式也不符合行为一致的设计
    yidinghe
        5
    yidinghe  
       158 天前   1
    https://rocketmq.apache.org/docs/domainModel/07consumergroup/

    这么说吧,但凡正确理解 ConsumerGroup 作用的人,都不会想到你这种用法,因为 ConsumerGroup 的本意就是让多个 Consumer 分担一个 Topic 的消费。至于你贴的这篇文章,内容简直是胡说八道,没有任何证据证明 ConsumerGroup 支持多个 Topic 。那里面的日志是怎么回事,其实不过是启动时创建了两个 DefaultRocketMQListenerContainer 罢了,各自对应不同的 Topic ,而这正是混乱的起源。

    那么为什么会出现“监听不到”的现象?其实是消息被丢弃了。为什么,假如有两个 topic1 和 topic2 ,当同时出现两个 topic 的消息时,服务器只要确认某个组能接收这个 Topic ,那么就发给这个组。注意这里根本就不考虑组内 Consumer 自身的 Topic 。这就导致接收 topic1 的 Listener 会直接丢弃 topic2 的消息,然后服务器发现消息没有确认,然后再重发,再被丢弃。总之千万不要这么做。
    bronyakaka
        6
    bronyakaka  
       157 天前
    RocketMQ 不清楚,kafka 的话一个 ConsumerGroup 可以对应多个 topic ,本质上是处理的 topic 分区,通过 分区策略 将分区分配给各个消费者实例。
    macttt
        7
    macttt  
       157 天前
    @yidinghe 在阿里云的官方文档里,都是以一个 Group 订阅多个 topic 的情况为基础,画出的示意图。可以参考这个订阅关系一致性的说明文档: https://help.aliyun.com/zh/apsaramq-for-rocketmq/cloud-message-queue-rocketmq-4-x-series/use-cases/subscription-consistency?spm=a2c4g.11186623.help-menu-29530.d_3_2.601c6dd5JHvlkr&scm=20140722.H_43523._.OR_help-T_cn~zh-V_1
    deku9
        8
    deku9  
    OP
       157 天前
    @macttt 所以一个 group 订阅多个 topic ,其实也就是 group 里的一个 consumer 订阅多个 topic ?
    macttt
        9
    macttt  
       157 天前
    @deku9 对的,但是需要保持这个 Group 里的所有 consumer 订阅的 topic 和 tag 保持一致,因为订阅表里一个 Group 只会有一种订阅关系,如果 Group 里的 consumer 有不一致的订阅关系,会导致消息消费异常。
    0xD800
        10
    0xD800  
       157 天前
    看了 macttt 发的阿里云文档,再看 juejin 里面的代码。
    我的理解是:
    juejin 中用户定义了两个 consumer [
    FlowNodeEventConsumer(cOnsumerGroup=test_node_group, topic=party_test_event),
    PartyNodeEventConsumer(cOnsumerGroup=test_node_group, topic=flow_test_event)
    ],

    等同于阿里云文档中的错误订阅关系示例 1:
    在消费者组 test_node_group 中,消费者 FlowNodeEventConsumer 和消费者 PartyNodeEventConsumer 订阅的 topic 不一致。

    https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1658844861/p301742.png


    总结:同一个 consumerGroup 中,支持订阅多个 topic ,多 tag ,但是必须每个 consumer 的订阅关系保持一致。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     934 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 22:02 PVG 06:02 LAX 15:02 JFK 18:02
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86