ryang 最近的时间轴更新 ryang 最近的时间轴更新 | ryangV2EX 第 272206 号会员，加入于 2017-12-04 14:29:26 +08:00 |
ryang 最近回复了
2017-12-04 19:26:25 +08:00 回复了 ilovebaicai 创建的主题 Python 现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。 |
可以考虑用 selenium+chrome 的方式爬取呢。
目前我用公司的 ip 地址，爬 1000 条没有要求登录。猜测可能是公司人比较多，所以同一个 ip 经常会有不同的人登录或者不登录访问淘宝。
如果用代理，爬个 10 几条就需要登录，但是用密码加短信验证码的方式登录后，再爬取 1000 多条都没有限制。
目前我用公司的 ip 地址，爬 1000 条没有要求登录。猜测可能是公司人比较多，所以同一个 ip 经常会有不同的人登录或者不登录访问淘宝。
如果用代理，爬个 10 几条就需要登录，但是用密码加短信验证码的方式登录后，再爬取 1000 多条都没有限制。
Select Language