V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 2944 days ago, the information mentioned may be changed or developed.
公司爬虫刚起步，想找一个工具用来管理和维护未来写的爬虫，在此请教一下大家顺便多学一点东西。
平时写爬虫 requests 和 scrapy 都有用过。
 | 1 samding123 Apr 4, 2018 spiderkeeper |
| 2 samding123 Apr 4, 2018 |
 | 3 Nick2VIPUser OP @samding123 昨天用过大神的项目，界面和功能特别棒！ 但我把 egg 文件上传上去后，spider 就是显示不出来，然后暂时放下了-_- |
 | 4 beforeuwait Apr 4, 2018 我也困惑 |
 | 5 shuizhengqi Apr 4, 2018 pyspider 吧 |
 | 6 farverfull Apr 4, 2018 OpsPlatform |
 | 7 |
 | 8 bazingaterry Apr 4, 2018 via iPhone 我以前团队是自己写的，糅合 pyspider 和 scrapy |
 | 9 qsnow6 Apr 4, 2018 spiderkeeper |
 | 10 qwertty01 Apr 5, 2018 上架市场吧，用不了 |
| 11 qwertty01 Apr 5, 2018 Sorry，回复错了 0.0 |
| 12 Nick2VIPUser OP @shuizhengqi 打算过段时间再学 pyspider -_- @farverfull 您说的这个 OpsPlatform 搜不到额... @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台，慢慢加功能 @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭 @beforeuwait 哈哈，那咱是同道中人 @Cryse scrapyd 没有 UI，但是可以自己写界面然后调用 scrapyd 文档提供的 API |
 | 13 my8100 Oct 25, 2018 scrapydweb：实现 Scrapyd 集群管理，Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb |
 | 15 tikazyq Jan 10, 2020 可以试试 Crawlab，非常灵活的分布式通用爬虫管理平台，支持任何框架和语言，当然包括 scrapy、selenium、puppeteer 等等 https://github.com/crawlab-team/crawlab |
Select Language