写了一个 celery 爬虫监控 demo - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
adrianyoung
V2EX    分享创造

写了一个 celery 爬虫监控 demo

  •  1
     
  •   adrianyoung
    adrianyoung 2019-03-27 21:26:13 +08:00 3936 次点击
    这是一个创建于 2395 天前的主题,其中的信息可能已经有所发展或是发生改变。
    花了一两周在摸 celery 的坑

    然后用 Python 写了个监控脚本针对 celery task 和 worker

    主要靠 Prometheus + Grafana, 简单粗暴, 甚至感觉有点爽 ?

    跟 flower 比的话, 还能更灵活点,外加有个报警功能

    顺手贴下 grafana dashboard 对应模板: https://grafana.com/dashboards/9970

    顺手贴下 github: https://github.com/adrianyoung/CrawlerMonitor

    相关安装、配置、用法都在 wiki 后面写了备忘

    单独监控 rabbitmq 有个比较火的模板 https://grafana.com/dashboards/2121

    还有很多可以完善的地方, 后面会慢慢补足
    第 1 条附言    2019-03-27 22:41:54 +08:00
    觉得有用的 v 友可以顺手给个 star~~~
    4 条回复    2019-03-31 20:27:42 +08:00
    xxm459259
        1
    xxm459259  
       2019-03-28 01:09:08 +08:00
    真是有缘...
    adrianyoung
        2
    adrianyoung  
    OP
       2019-03-28 12:31:49 +08:00
    @pandachow 哈哈哈哈都是路人
    6d6f33
        3
    6d6f33  
       2019-03-31 19:55:34 +08:00
    感谢。
    不过 celery 4 不知道你会不会遇到一个神坑,定时任务的服务会莫名其妙的随机很多天后死亡(停止)。如果遇到了,也解决不了的话,记得去看看 RQ,这个简单点,可定制程度也很高。
    adrianyoung
        4
    adrianyoung  
    OP
       2019-03-31 20:27:42 +08:00
    @6d6f33 我想吐槽一下的是我现在也没搞懂 celery 到底哪个版本是真正稳定的,定时任务的话肯定就跟时区问题挂钩我还没实际碰到过,如果有问题的话应该上去找找 issue,rq 没用过我了解下。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1465 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 16:44 PVG 00:44 LAX 09:44 JFK 12:44
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86