V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3303 days ago, the information mentioned may be changed or developed.
https://github.com/DormyMo/SpiderKeeper
主要实现 scrapy 工程的部署，抓取任务状态监控，定时启动爬虫等功能
支持多个 scrapyd 服务 ，方便爬虫集群的管理
后续等功能完善了之后 想支持更多爬虫框架来着
 | 1 allinwonder Apr 13, 2017 很厉害啊，用什么写的？ |
 | 2 modm OP @allinwonder flask |
 | 3 xss Apr 13, 2017 看着比 scrapyd 要好用... |
 | 4 simapple Apr 13, 2017 v2 上真是爬虫玩家多 而且高端玩家多 |
 | 5 yanzixuan Apr 13, 2017 怒赞。 |
 | 6 qile1 Apr 13, 2017 via Android windows 系统可以用不？ |
 | 7 xrlin &nbp; Apr 13, 2017 via iPhone 第 111 个赞 |
 | 10 im67 Apr 13, 2017 ui 可以的 |
 | 11 forever139 Apr 13, 2017 哈哈，前排支持 |
 | 12 bestrenxs Apr 13, 2017 先赞一个！ |
 | 13 netChen Apr 14, 2017 楼主强大，做成了我一直想做但却做不成的事，前排支持，然后给星 |
 | 14 qsnow6 Apr 19, 2017 非常好用！ 作者的 Issues 回复的也很快 |
 | 15 diveandwatch Dec 1, 2017 请问，上传那个 egg 是 build-egg 生成的 egg,还是 scrapyd-deploy 成功之后自己生成的那个 egg 文件 |
| 16 diveandwatch Dec 1, 2017 爬出来的数据放在 dbs 里面的 sqlite 数据库了吗？可是用可视化工具读不出来数据。 |
 | 17 Redips Apr 24, 2018 不错,就是删除任务再新建,会提示达到最大工作量,而且人物也删除不掉 |
 | 18 baitongda Feb 1, 2019 我想知道你是用了什么 python 的管理框架吗。 |
Select Language