爬虫某网站最近禁止了国外 IP,想请问下有什么好的办法 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
livc
0D
V2EX    程序员

爬虫某网站最近禁止了国外 IP,想请问下有什么好的办法

  •  
  •   livc
    livc 2020-08-10 10:49:46 +08:00 7724 次点击
    这是一个创建于 1939 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件,然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了,使用国内 IP 访问就没问题。

    目前我的思路是:买一个国内的服务器,专门用来爬虫,爬完保存下来的文件 scp 到 vultr 服务器上。

    这样就是增加了国内服务器的成本,国内服务器又比较贵,不知道大佬有没有更好的解决方案?

    或者买个树莓派?

    40 条回复    2020-09-21 17:00:46 +08:00
    biu7
        1
    biu7  
       2020-08-10 10:51:09 +08:00
    买点代理不行么
    CriseLYJ
        2
    CriseLYJ  
       2020-08-10 11:13:13 +08:00
    楼上正解
    hugee
        3
    hugee  
       2020-08-10 11:15:12 +08:00
    原来就是你小子在爬我的站
    livc
        4
    livc  
    OP
       2020-08-10 11:17:49 +08:00
    @biu7 #1 代理好像更贵吧?有推荐的站吗
    lxk11153
        5
    lxk11153  
       2020-08-10 11:21:33 +08:00
    原来就是你小子在爬我的站
    biu7
        6
    biu7  
       2020-08-10 11:23:21 +08:00
    @livc #4 国内代理一般两类,一种直接卖给你短时( 3-5min )有效的 ip,比如几块钱 1000 个之类的,一种是直接转发你的请求,按请求数算钱。可以看下讯代理、阿布云之类的(非广告)
    em70
        7
    em70  
       2020-08-10 11:25:35 +08:00
    告诉你一个诀窍啊,阿里云有一种抢占式 ECS,才几毛钱一个小时,因为有百分之几的几率会被释放,不适合做长期服务,却是爬虫的天然选择,随用随买,不用就释放
    livc
        8
    livc  
    OP
       2020-08-10 11:27:37 +08:00
    @biu7 #6 明白了,谢谢
    livc
        9
    livc  
    OP
       2020-08-10 11:28:14 +08:00
    @em70 #7 我这个是需要每天爬的,得长期用呢
    em70
        10
    em70  
       2020-08-10 11:30:05 +08:00
    刚帮你看了下,乌兰察布机房最便宜,才 8 分钱一个小时,北京 1 毛 3
    em70
        11
    em70  
       2020-08-10 11:30:43 +08:00
    @livc 才 3%的释放几率,多买几台
    linuxvalue
        12
    linuxvalue  
       2020-08-10 11:32:21 +08:00
    代理 ip
    heiheidewo
        13
    heiheidewo  
       2020-08-10 11:32:22 +08:00
    原来就是你小子在爬我的站
    Soar360
        14
    Soar360  
       2020-08-10 11:39:33 +08:00
    原来就是你小子在爬我的站
    nightwitch
        15
    nightwitch  
       2020-08-10 11:39:43 +08:00
    #7 楼的方案不是挺好的。
    每天定时开个阿里云竞价实例,然后爬完释放就可以了
    可以参考以下的
    https://github.com/rockswang/alispot
    murmur
        16
    murmur  
       2020-08-10 11:43:07 +08:00
    你现在买了境内机房,下次他把各大云的 ip 也禁了
    121121121
        17
    121121121  
       2020-08-10 11:54:29 +08:00
    代理服务器
    ipoh
        18
    ipoh  
       2020-08-10 12:20:38 +08:00
    你需要淘宝"ADSL VPS" 每几分钟自动重播一次
    封 ip 也不怕
    natsji
        19
    natsji  
       2020-08-10 13:02:29 +08:00 via Android
    你用辣鸡阿里清凉云的香港或者新加坡服务器,IP 地址会被很多 ip 库识别成大陆的。
    locoz
        20
    locoz  
       2020-08-10 13:25:49 +08:00 via Android
    你就不能直接买代理或者在爬的时候开点国内云服务器做代理服务器吗…
    wangyzj
        21
    wangyzj  
       2020-08-10 13:29:33 +08:00
    我之前的做法是去淘宝上买一个可以随意换 IP 的机器
    pagxir
        22
    pagxir  
       2020-08-10 13:58:40 +08:00 via Android
    可以用阿里云或者其他云的函数计算的,支持 web 请求,选择国内的节点即可
    newee
        23
    newee  
       2020-08-10 14:09:35 +08:00 via iPhone
    哪里的海外 ip 比较便宜靠谱,最近抓一个海外站点,访问几百次就会被禁。有啥供应商比较实惠的
    BillowSky
        24
    BillowSky  
       2020-08-10 14:16:53 +08:00 via iPhone
    人家禁你可能你对人家造成了干扰,要不然也不会费力气禁你。
    abersheeran
        25
    abersheeran  
       2020-08-10 14:21:06 +08:00
    原来就是你小子在搞事情。
    sunziren
        26
    sunziren  
       2020-08-10 14:33:26 +08:00
    原来就是你小子在爬我的站
    suuuch
        27
    suuuch  
       2020-08-10 14:34:31 +08:00 via iPhone
    这个感觉像是你的爬虫对别人照成影响了,换 IP 之后应该会升级反爬,
    shakaraka
        28
    shakaraka  
    PRO
       2020-08-10 14:37:41 +08:00
    原来就是你小子在爬我的站
    jones2000
        29
    jones2000  
       2020-08-10 16:45:00 +08:00
    直接买云抓取的服务不就可以了。 还自己爬多麻烦。
    adoula
        30
    adoula  
       2020-08-10 17:59:40 +08:00
    一般不是国外服务器比较贵吗
    smplesugar
        31
    smplesugar  
       2020-08-10 18:58:47 +08:00
    原来就是你小子在爬我的站
    zhiiker
        32
    zhiiker  
       2020-08-10 19:37:12 +08:00
    用爬虫 IP 代理池服务
    https://www.abuyun.com/
    https://www.zdaye.com/ShortProxy.html
    量大的化,平均下很便宜
    unclemcz
        33
    unclemcz  
       2020-08-10 20:14:19 +08:00
    淘宝买个玩客云,50 包邮,刷成 armbian 然后跑爬虫,功耗 6-10 瓦吧。
    不多说了,再说又止不住手打开淘宝买一个了。
    g079708
        34
    g079708  
       2020-08-10 21:35:26 +08:00 via iPhone
    可以试试这个,独享拨号代理 IP 池;
    http://www.kuainiaoip.com/store/exclusive-adsl.html
    h4de5
        35
    h4de5  
       2020-08-10 22:27:01 +08:00
    github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
    ClericPy
        36
    ClericPy  
       2020-08-10 23:45:57 +08:00
    这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
    HYisen
        37
    HYisen  
       2020-08-11 15:38:43 +08:00
    买个树莓派吧,蹭家用网络是真的便宜。
    woodnaonly
        38
    woodnaonly  
       2020-09-21 15:08:52 +08:00
    @h4de5 关键字是什么
    woodnaonly
        39
    woodnaonly  
       2020-09-21 15:10:05 +08:00
    @wangyzj 老哥来个关键字
    wangyzj
        40
    wangyzj  
       2020-09-21 17:00:46 +08:00
    @woodnaonly #39 vps
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     971 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 47ms UTC 22:44 PVG 06:44 LAX 14:44 JFK 17:44
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86