推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3849 天前的主题，其中的信息可能已经有所发展或是发生改变。
错误信息:
requests.exceptions.Connecti onError: ('Connection aborted.', error(104, 'Connection reset by peer'))
加了headers也不行
这个问题经常出现,浏览器正常,但爬虫不行.
1.想问问都有哪些可能性,遇到时有个线索可去google.
2.模拟浏览器是不是只加headers就行? 是不是模拟成功的话就不会出错(浏览器能正常访问)?
requests.exceptions.Connecti onError: ('Connection aborted.', error(104, 'Connection reset by peer'))
加了headers也不行
这个问题经常出现,浏览器正常,但爬虫不行.
1.想问问都有哪些可能性,遇到时有个线索可去google.
2.模拟浏览器是不是只加headers就行? 是不是模拟成功的话就不会出错(浏览器能正常访问)?
 | 1 wdd2007 2015-04-03 13:54:27 +08:00 你对比一下浏览器的请求和爬虫请求有哪些不一样的地方？ 比如 useragent、比如 cookie？ |
 | 2 willsplashing 2015-04-03 13:55:22 +08:00 你确定python发出去的request和Chrome devtool里capture的request一模一样吗？ |
| 3 willsplashing 2015-04-03 13:57:21 +08:00 还有如果你爬虫一下子发很多request有些网站可能会有rate limit |
 | 4 dedewei OP |
| 5 dedewei OP @willsplashing 爬了二十个页面就断了,然后时而行时而不行 |
 | 6 ETiV 2015-04-03 14:04:04 +08:00 via iPhone firebug抓一次浏览器的请求，再用curl模拟提交（firebug有复制curl请求的功能），再一点点精简curl的参数 |
 | 8 withrock 2015-04-03 14:43:16 +08:00 可能和cookie有关，如果不需要登录就可以抓取的话，建议关闭cooke ps:我也写了个爬虫玩玩，互相学习。 http://git.oschina.net/mktime/scrapy-douban-group |
 | 9 libo26 2015-04-03 16:16:20 +08:00 header与浏览器一致的话多半是频率限制了吧，增加时间间隔/换IP |
 | 10 kkx 2015-04-04 07:06:34 +08:00 用selenium 包治 |
 | 11 ioven 2015-04-04 21:09:16 +08:00 burpsuite抓包，对比和浏览器的区别 |
 | 12 ming2281 2015-04-08 22:33:48 +08:00 了解一下HTTP协议,然后这些大都知道怎么避免了 |
Select Language