V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3262 days ago, the information mentioned may be changed or developed.
scrapy 爬虫小问题 目标站限制速度怎么办？
最高只能跑到 5M 左右。
 | 1 bigdogbigpig PRO 多 IP |
 | 2 xiaoyu9527 OP |
| 3 bigdogbigpig PRO @xiaoyu9527 至于多 IP 怎么做就看需要了 |
 | 4 BiggerLonger May 22, 2017 scrapy 有限制速度 |
 | 5 justfun May 22, 2017 分布式 |
 | 6 jiezhi May 22, 2017 爬人家东西也不要把人家资源全部占用掉呀 |
 | 7 PythoneerDev6 May 22, 2017 多 IP 分布式。 其次 Scrapy 提供了每个线程的时间控制。 |
 | 8 QQ2171775959 May 22, 2017 你把人家的网站资源占满了的话，人家没有封你就算不错了。 |
 | 9 Xrong May 22, 2017 人家带宽就那么大，能怎么办？爬慢点。。。 |
 | 10 af463419014 May 22, 2017 你把人家带宽全占了,搞得人家还以为网站被攻击了呢 |
 | 11 whileFalse May 22, 2017 没准人家出口带宽就只有 5M。 |
 | 12 ytmsdy May 22, 2017 via iPhone 爬慢一点！爬虫其实是个寄生虫，宿主死了，寄生虫就死了！ |
 | 13 yuansmin May 22, 2017  1 IP 代理池。不过还是建议不要太快了，拿人家东西就不要给人造成太大负担，做个有公德的 spider |
 | 14 killerv May 22, 2017 做个不让人讨厌的 spider |
 | 15 dd99iii May 28, 2017 via iPhone 别人限速大概还是有原因的 |
Select Language