
最近想用 Puppeteer 爬取 这个网站 的数据,发现爬取几个数据之后就很快被识别为机器人,弹出 recaptcha 的验证,已设置 UA 和 Cookie,模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的?
1 gzlock 2018 年 4 月 19 日 瓶颈在 ip,上代理池 |
2 miyuki 2018 年 4 月 19 日 可能是 IP 频率? |
3 soli 2018 年 4 月 20 日 道高一尺,魔高一丈。 复杂一点的,可以分析用户鼠标、键盘等动作。 |
4 yamedie 2018 年 4 月 20 日 via Android 操作频率太快了,设置点间隔 |
5 Sparetire 2018 年 4 月 20 日 |