python 用 request 库爬虫爬取淘宝详情页碰到了个奇葩问题 为了分析请求,我用的 fiddle,当开启 fiddle 代理,运行代码,无论请求多么频繁,都不会报错 拿掉代理,直接请求,稍稍频繁就报错,这是为什么呢?怎么解决? 下面是报错 requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end close connection without response')) 代理就是个本地的代理,和 ip 没有关系,为什么有代理就行,没代理就完蛋? fiddle 对请求做了什么处理呢
![]() | 1 jugelizi 2020-03-31 23:10:33 +08:00 via iPhone 证书吧 |
2 changwenrui2310 OP @jugelizi 已经移除对 SSL 的认证 verify=False,如果是证书有问题的话恐怕直接请求不到吧,我这里是请求频繁就拒绝 |
![]() | 3 learningman 2020-03-31 23:27:09 +08:00 via Android 估计是用 js 做了反爬 |
4 changwenrui2310 OP @learningman 我不太明白,如果是做了反爬,为什么加个 fiddle 代理就能开爬呢? |
![]() | 5 None123 2020-03-31 23:30:28 +08:00 @learningman 这 tm 和 js 有什么关系 不懂就不要瞎说 |
![]() | 6 None123 2020-03-31 23:34:07 +08:00 @changwenrui2310 改一下请求头 |