
随机浏览器头和限速都试了。还是被封。代理 ip 也找不到很多
1 vcbal 2023 年 5 月 22 日 你看下是不是有特殊的接口,或者特殊的 http 头,这个是根据网站来,不同网站不同的反爬机制 |
2 brader 2023 年 5 月 22 日 禁不禁你 IP ,是看别人网站开发者的反爬机制决定的,不是你能控制的 |
3 qrobot 2023 年 5 月 22 日 参照隔壁 v2explus, 分布式爬虫, 每人每天执行任务 |
4 cosmain 2023 年 5 月 22 日 策略:“如果一个 IP 五分钟内访问了 1000 个页面,禁止 ip 访问 24 小时” 这任你怎么折腾都不行,除非换 ip |
5 glfpes 2023 年 5 月 22 日 单 ip 是不可能做爬虫的 |
6 cnrting 2023 年 5 月 22 日 via iPhone 这是能问的吗 |
7 8355 2023 年 5 月 22 日 爬的本质就是增加成本破解反爬 反爬的本质就是通过增加爬的成本来反爬 |
8 dawn009 2023 年 5 月 22 日 随机浏览器头有可能特征更明显。有些 UA 在正常用户中是很少见的,足够触发反爬规则了。 |
9 blankmiss 2023 年 5 月 22 日 代理池即可 |
10 ding2dong 2023 年 5 月 22 日 无解,掏钱上动态代理 ip |
11 maxssy 2023 年 5 月 22 日 用别人的 IP |
12 gablic 2023 年 5 月 22 日 网上买代理 ip 资源吧 |
13 cherryas 2023 年 5 月 22 日 爬网站的 ipv6 地址 (有的概率很低) |
14 locochen 2023 年 5 月 22 日 欢迎试用 `https://www.bright.cn/` |
15 Jf35jxN3fwBXyeLh 2023 年 5 月 22 日 @locochen 你这是国外那个 brightdata 中文版吗,还是国内人新搞的? |