最近在跑实验,求一些 python 自动化、分布式的框架 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
tywtyw2002
V2EX    程序员

最近在跑实验,求一些 python 自动化、分布式的框架

  •  
  •   tywtyw2002 2014-11-26 17:02:43 +08:00 4466 次点击
    这是一个创建于 3976 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近在跑cpu模拟,gem5,一个任务一跑就是5+小时。

    目前半手工实现,用python去生成命令复制到terminal里面执行,命令类似
    ```
    ssh ug22 "cd ~/as03/result/; ./run.sh 4 ../10000.txt >../log/log-4-10000.log 2>&1" &
    ```
    简单解释一下,就是远程到别的机器执行一个命令,然后让这个ssh在后台执行。
    这样只要在一台机器上挂tmux,就可以保证其他机器上面运行的任务不会因为ssh断开而挂掉,而且output也不会在这台终端上面狂刷,然后我们还可以在这个终端上干点别的。

    但是问题来了,
    - 任务结束后ssh进程不会结束掉,必须手动去kill,不知道怎么才能让任务结束掉就结束ssh连接。
    - 如果要断开ssh连接的话,好像没有办法让任务继续在后台去跑(不启动tmux之类的东西)。


    半手动还是很麻烦,而且没法实现队列。队列的python框架有很多,那部分也是比较好实现的。但是不知道py的自动化、分布式框架有哪些呢?
    基本需要的就是,可以ssh到其他机器,保证模拟结束之前,进程不会挂掉,得到一些任务的信息,比如正常结束、运行时间等等。

    本来想用subprocess的,但是需要wait的话只能去开多个thread,一次跑40台机器感觉thread开不起呀,会被管理员骂的。

    求推荐一些框架去跑分布式的task。
    10 条回复    2014-11-27 13:38:08 +08:00
    R4rvZ6agNVWr56V0
        1
    R4rvZ6agNVWr56V0  
       2014-11-26 17:09:12 +08:00
    python-rq
    Parallel Python
    tywtyw2002
        2
    tywtyw2002  
    OP
       2014-11-26 17:13:29 +08:00
    @GeekGao Parallel Python 好像是跟openMPI差不多的东西吧? 这个主要是并行计算,而不是去管理并发任务的。
    wibile
        3
    wibile  
       2014-11-26 17:27:02 +08:00
    fabric,celery,rabbitmq
    DiffView
        4
    DiffView  
       2014-11-26 19:24:53 +08:00
    lwj0012
        5
    lwj0012  
       2014-11-26 19:27:29 +08:00
    @tywtyw2002 你是做哪方面啊?有空聊聊?
    R4rvZ6agNVWr56V0
        6
    R4rvZ6agNVWr56V0  
       2014-11-26 19:41:29 +08:00
    @tywtyw2002 没有管理功能,没遇到可以管理的。如果只是执行一些命令,你可以用faric
    clino
        7
    clino  
       2014-11-26 19:48:32 +08:00 via Android
    感觉自动构建的工具像buildbot jenkins也能满足楼主
    tywtyw2002
        8
    tywtyw2002  
    OP
       2014-11-27 01:19:23 +08:00 via iPhone
    @lwj0012 你指什么哪方面? 我邮箱就是这个id家gmail
    hicdn
        9
    hicdn  
       2014-11-27 12:10:26 +08:00
    不用 gearman?
    bingx86
        10
    bingx86  
       2014-11-27 13:38:08 +08:00
    Ansible and Saltstack。。或许是你想要的,我用了前者
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3084 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 11:58 PVG 19:58 LAX 04:58 JFK 07:58
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86