推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3146 天前的主题，其中的信息可能已经有所发展或是发生改变。
scrapy 爬虫小问题 目标站限制速度怎么办？
最高只能跑到 5M 左右。
 | 1 mazyi PRO 多 IP |
 | 2 xiaoyu9527 OP |
| 3 mazyi PRO @xiaoyu9527 至于多 IP 怎么做就看需要了 |
 | 4 BiggerLonger 2017-05-2 09:57:55 +08:00 scrapy 有限制速度 |
 | 5 justfun 2017-05-22 09:58:57 +08:00 分布式 |
 | 6 jiezhi 2017-05-22 10:01:35 +08:00 爬人家东西也不要把人家资源全部占用掉呀 |
 | 7 PythoneerDev6 2017-05-22 10:32:38 +08:00 多 IP 分布式。 其次 Scrapy 提供了每个线程的时间控制。 |
 | 8 QQ2171775959 2017-05-22 11:02:59 +08:00 你把人家的网站资源占满了的话，人家没有封你就算不错了。 |
 | 9 Xrong 2017-05-22 11:48:13 +08:00 人家带宽就那么大，能怎么办？爬慢点。。。 |
 | 10 af463419014 2017-05-22 11:55:49 +08:00 你把人家带宽全占了,搞得人家还以为网站被攻击了呢 |
 | 11 whileFalse 2017-05-22 11:56:55 +08:00 没准人家出口带宽就只有 5M。 |
 | 12 ytmsdy 爬慢一点！爬虫其实是个寄生虫，宿主死了，寄生虫就死了！ |
 | 13 yuansmin 2017-05-22 12:54:21 +08:00  1 IP 代理池。不过还是建议不要太快了，拿人家东西就不要给人造成太大负担，做个有公德的 spider |
 | 14 killerv 2017-05-22 12:55:18 +08:00 做个不让人讨厌的 spider |
 | 15 dd99iii 2017-05-28 18:24:04 +08:00 via iPhone 别人限速大概还是有原因的 |
Select Language