V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide
Code Style from The Hitchhiker's Guide 
This topic created in 3776 days ago, the information mentioned may be changed or developed.
RT ，一个下载文件的爬虫，一段时间后，服务器完全不响应。
可以确定的是服务器端根据不同 UA ，需要 POST 的数据不同，
我已经区分开 IE 、 chrome 、 firefox 三者各自需要的数据了，还是会有这种情况。
是因为 IP 限制了吗？
Supplement 1 Dec 28, 2015
谢谢各位，不过我遇到的问题看起来更像是服务器撑不住响应时间太长，而我的代码异常捕获有问题
 | 1 abelyao Dec 27, 2015 有 IP 限制很正常啊… 没 IP 限制得被人爬到崩… |
 | 2 marcushbs Dec 27, 2015 一般请求间要加一个按 x2 自增的 interval ，发现没反应了就等等，爬的那些服务如果靠谱点一般都有 ip 访问次数限制 |
 | 3 excelle08 Dec 27, 2015 没设置 timeout ？ |
 | 7 wgjak47 Dec 27, 2015 只有换 ip 喽。 |
 | 8 FanPengcheng Dec 27, 2015 在 header 里伪造来源 IP 。 |
 | 9 wxg4net Dec 27, 2015  1 |
 | 11 cyneuzk OP @FanPengcheng 能详细点不 |
 | 12 Linxing Dec 28, 2015 加入代理服务器吧，不停的切换代理 |
 | 13 meloncrashed Dec 28, 2015 上面前辈都说了 多个 ip 切换， 每抓之间试试不同的时间间隔 |
| 14 meloncrashed Dec 28, 2015 |
 | 15 KentY Dec 28, 2015 弄个代理池, 换着爬 |
 | 16 hengsha Apr 14, 2018 可能是服务器的问题，推荐使用郑州新数据代理的美国多 IP 服务器 |
Select Language