[PowerJob] 值得你拥有的新一代分布式任务调度与计算框架 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tjq
V2EX    Java

[PowerJob] 值得你拥有的新一代分布式任务调度与计算框架

  •  
  •   tjq
    KFCFans 2020-06-30 08:42:34 +08:00 4192 次点击
    这是一个创建于 1933 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一句话介绍:PowerJob 是新一代分布式任务调度与计算框架,支持 CRON 、API 、固定频率、固定延迟等调度策略,提供工作流来编排任务解决依赖关系,支持 MapReduce 分布式计算,使用简单,功能强大,文档齐全,欢迎各位接入使用!

    主要特性

    • 使用简单:提供 Web 界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。
    • 定时策略完善:支持 CRON 表达式、固定频率、固定延迟和 API 四种定时调度策略。
    • 执行模式丰富:支持单机、广播、Map 、MapReduce 四种执行模式,其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。
    • DAG 工作流支持:支持在线配置任务依赖关系,可视化得对任务进行编排,同时还支持上下游任务间的数据传递
    • 执行器支持广泛:支持 Spring Bean 、内置 /外置 Java 类、Shell 、Python 等处理器,应用范围广。
    • 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率。
    • 依赖精简:最小仅依赖关系型数据库( MySQL/Oracle/MS SQLServer...),扩展依赖为 MongoDB (用于存储庞大的在线日志)。
    • 高可用&高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。
    • 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。

    相关链接

    项目地址:GitHub

    文档地址:点击查看

    在线试用:点击查看

    9 条回复    2020-06-30 15:33:42 +08:00
    w292614191
        1
    w292614191  
       2020-06-30 09:03:28 +08:00
    又是你,嘿嘿嘿嘿嘿嘿嘿嘿
    w292614191
        2
    w292614191  
       2020-06-30 09:07:09 +08:00
    在工作流,删除任务,点击节点删除,在点击节点又是删除?这个一点提示都没有唉。
    tjq
        3
    tjq  
    OP
       2020-06-30 09:33:08 +08:00
    @w292614191 哈哈哈,推广不易~只能定期发发广告。

    嗯,这算是个小问题。不过了解完整操作流程以后能用就行~毕竟前端页面只是起辅助作用。
    tikazyq
        4
    tikazyq  
       2020-06-30 10:48:07 +08:00
    有不有相关的应用场景,啥时候用 xxl-job,啥时候用 powerjob ?
    tjq
        5
    tjq  
    OP
       2020-06-30 10:57:21 +08:00
    @tikazyq README 中有同类框架的对比,如果你有分布式计算或工作流的需求,那么 xxl-job 无法满足你的需求,只能用 PowerJob 。
    其他情况看个人喜好喽~ xxl-job 的优势是老牌调度框架,发展多年用户基数大。PowerJob 则是后起之秀,功能更强大特性更丰富。

    (当然,作为开发者,我自然是推荐你无脑上 PowerJob 的,哈哈哈~
    EastLord
        6
    EastLord  
       2020-06-30 14:09:29 +08:00
    为啥不和 Elastic-Job 比较呢
    tjq
        7
    tjq  
    OP
       2020-06-30 14:16:17 +08:00
    @EastLord Elastic-Job 其实和 quartz 差不多是一个东西,都是那种自产自销的任务调度框架。而 xxl-job 、PowerJob 之类的其实属于中间件范畴,任务调度中间件。适合一个公司统一部署调度服务器,然后底下各个业务线接入。

    本质不同,所以也就没列上去了。
    Still4
        8
    Still4  
       2020-06-30 15:14:36 +08:00
    好奇有跟 airflow 对比过嘛
    tjq
        9
    tjq  
    OP
       2020-06-30 15:33:42 +08:00
    @Still4 有的,面向的领域不同~相见官方文档的 FAQ 章节

    https://www.yuque.com/powerjob/guidence/zk2la4
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1177 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 17:39 PVG 01:39 LAX 10:39 JFK 13:39
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86