关于 RQ 的任务重试机制 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
61.5D
439.86D
V2EX    RQ

关于 RQ 的任务重试机制

  •  
  •   Livid
    PRO
    2012-06-05 10:24:28 +08:00 11611 次点击
    这是一个创建于 4874 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果一个 job 第一次运行的时候失败,那么会被放入到一个叫做 failed 的 queue。

    而这个时候你只要启动 rqworker failed 就可以进行重试。

    你甚至可以加上 --burst 让这个临时的 worker 在处理完所有的 failed 任务之后就自动退出。
    5 条回复    1970-01-01 08:00:00 +08:00
    muxi
        1
    muxi  
       2012-06-05 10:28:43 +08:00
    这个组件很少人用到,在之前我的项目中做MQ选型的时候了解过,Livid真的是啥都搞啊
    Livid
        2
    Livid  
    MOD
    OP
    PRO
       2012-06-05 13:11:25 +08:00
    @muxi 那你目前在用的 MQ 是啥呢?
    muxi
        3
    muxi  
       2012-06-05 13:44:38 +08:00   1
    我用过三种,RabbitMQ,Beanstalk,Gearman,
    目前这三个都在线上跑,总体下来都足够的稳定,也都各自有优缺点,客户端都足够的多,使用成本也不算高,如果业务量不大的话,都可以
    RabbitMQ 配置集群很容易,也有易用的Web界面控制台,缺点是协议复杂,速度太慢,每秒写入大概在4000个左右,出队列就更慢了,大概2500个左右,当然,你可以通过增加Worker的数量来解决这个问题,RabbitMQ缺少Delay和优先级控制,重试机制也不好,当你启用ACK之后,如果多次没有得到回馈,这个消息就需要手动发送,我现在的解决办法就是定期重启所有Worker

    Beanstalk速度是非常快,协议简单,就是持久化麻烦,持久化往硬盘上写log,挂掉之后恢复巨慢,我遇到的情况是大概3G的数据恢复了十多分钟也没恢复好,最后我把log重命名然后写个程序自己导入

    Gearman 严格意义上不属于Queue,只是一个任务分发的应用,但实际上Gearman内部维护了一个内存队列,也支持简单的优先级和同步与异步任务,配置一下可以实现队列信息持久化,我目前用的比较多,Gearman最大的问题是自己维护队列却没有提供查看队列的接口,哪怕是命令行接口,这导致在高速写入后,很难判定所有的Job是不是都完成了,如果配置了外部持久化存储,这个问题也容易解决,Gearman用的人比较多,性能比较优秀

    RQ当初没用是因为用的人少,也没去研究任务优先级怎么搞的
    BeanYoung
        4
    BeanYoung  
       2013-06-01 00:04:00 +08:00
    貌似这个对于多任务队列且每个任务队列的task不在同一个路径下无解,且会造成死循环
    toctan
        5
    toctan  
       2013-08-23 18:38:49 +08:00 via Android
    @muxi a
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     862 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 21:42 PVG 05:42 LAX 14:42 JFK 17:42
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86