如何爬取一个网站不被禁用 ip - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
EagerTo

如何爬取一个网站不被禁用 ip

  •  1
     
  •   EagerTo 2023 年 5 月 22 日 2911 次点击
    这是一个创建于 1068 天前的主题,其中的信息可能已经有所发展或是发生改变。

    随机浏览器头和限速都试了。还是被封。代理 ip 也找不到很多

    16 条回复    2023-05-22 20:17:15 +08:00
    vcbal
        1
    vcbal  
       2023 年 5 月 22 日
    你看下是不是有特殊的接口,或者特殊的 http 头,这个是根据网站来,不同网站不同的反爬机制
    brader
        2
    brader  
       2023 年 5 月 22 日
    禁不禁你 IP ,是看别人网站开发者的反爬机制决定的,不是你能控制的
    qrobot
        3
    qrobot  
       2023 年 5 月 22 日   3
    参照隔壁 v2explus, 分布式爬虫, 每人每天执行任务
    cosmain
        4
    cosmain  
       2023 年 5 月 22 日
    策略:“如果一个 IP 五分钟内访问了 1000 个页面,禁止 ip 访问 24 小时”

    这任你怎么折腾都不行,除非换 ip
    glfpes
        5
    glfpes  
       2023 年 5 月 22 日
    单 ip 是不可能做爬虫的
    cnrting
        6
    cnrting  
       2023 年 5 月 22 日 via iPhone
    这是能问的吗
    8355
        7
    8355  
       2023 年 5 月 22 日
    爬的本质就是增加成本破解反爬
    反爬的本质就是通过增加爬的成本来反爬
    dawn009
        8
    dawn009  
       2023 年 5 月 22 日
    随机浏览器头有可能特征更明显。有些 UA 在正常用户中是很少见的,足够触发反爬规则了。
    blankmiss
        9
    blankmiss  
       2023 年 5 月 22 日
    代理池即可
    ding2dong
        10
    ding2dong  
       2023 年 5 月 22 日
    无解,掏钱上动态代理 ip
    maxssy
        11
    maxssy  
       2023 年 5 月 22 日
    用别人的 IP
    gablic
        12
    gablic  
       2023 年 5 月 22 日
    网上买代理 ip 资源吧
    cherryas
        13
    cherryas  
       2023 年 5 月 22 日
    爬网站的 ipv6 地址 (有的概率很低)
    locochen
        14
    locochen  
       2023 年 5 月 22 日
    欢迎试用 `https://www.bright.cn/`
    Jf35jxN3fwBXyeLh
        15
    Jf35jxN3fwBXyeLh  
       2023 年 5 月 22 日
    @locochen 你这是国外那个 brightdata 中文版吗,还是国内人新搞的?
    locochen
        16
    locochen  
       2023 年 5 月 22 日
    @YouKnowIt 就是你认为的那个国外的, 出海到中国来了.
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4801 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 91ms UTC 09:42 PVG 17:42 LAX 02:42 JFK 05:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86