推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3582 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT ，一个下载文件的爬虫，一段时间后，服务器完全不响应。
可以确定的是服务器端根据不同 UA ，需要 POST 的数据不同，
我已经区分开 IE 、 chrome 、 firefox 三者各自需要的数据了，还是会有这种情况。
是因为 IP 限制了吗？
第 1 条附言 2015-12-28 22:35:26 +08:00
谢谢各位，不过我遇到的问题看起来更像是服务器撑不住响应时间太长，而我的代码异常捕获有问题
 | 1 abelyao 2015-12-27 16:40:33 +08:00 有 IP 限制很正常啊… 没 IP 限制得被人爬到崩… |
 | 2 marcushbs 2015-12-27 16:41:46 +08:00 一般请求间要加一个按 x2 自增的 interval ，发现没反应了就等等，爬的那些服务如果靠谱点一般都有 ip 访问次数限制 |
 | 3 excelle08 2015-12-27 16:45:18 +08:00 没设置 timeout ？ |
 | 7 wgjak47 2015-12-27 17:00:40 +08:00 只有换 ip 喽。 |
 | 8 FanPengcheng 2015-12-27 18:15:36 +08:00 在 header 里伪造来源 IP 。 |
 | 9 wxg4net 2015-12-27 18:19:18 +08:00  1 |
 | 11 cneuzk OP @FanPengcheng 能详细点不 |
 | 12 Linxing 2015-12-28 15:25:07 +08:00 加入代理服务器吧，不停的切换代理 |
 | 13 meloncrashed 2015-12-28 18:32:14 +08:00 上面前辈都说了 多个 ip 切换， 每抓之间试试不同的时间间隔 |
| 14 meloncrashed 2015-12-28 18:33:37 +08:00 可以考虑时间间隔，是个随机数，不然动作太过规律，容易被看出来是非人类。 |
 | 15 KentY 2015-12-28 19:24:09 +08:00 弄个代理池, 换着爬 |
 | 16 hengsha 2018-04-14 16:07:06 +08:00 可能是服务器的问题，推荐使用郑州新数据代理的美国多 IP 服务器 |
Select Language