国外 http 代理库 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
15399905591
V2EX    Python

国外 http 代理库

  •  
  •   15399905591 2017-09-06 17:49:00 +08:00 10339 次点击
    这是一个创建于 2964 天前的主题,其中的信息可能已经有所发展或是发生改变。
    公司有个爬虫项目,需要使用指定国家的 http,找了好几个服务商都不太合适,主要都是国家太少,好不容易找到一家,研究了半天,结果对方说不支持 goole 的爬虫,我这边需要抓取 goole play。求大神介绍个服务商,跪谢!!
    第 1 条附言    2017-09-07 10:19:21 +08:00
    需要指定国家的代理 IP,付费的也可以,每个国家至少得有几百个 IP,能支持大部分主流国家。
    34 条回复    2020-04-03 21:40:02 +08:00
    qq583708076
        1
    qq583708076  
       2017-09-06 17:57:44 +08:00
    国外的么
    yuanfnadi
        2
    yuanfnadi  
       2017-09-06 18:00:39 +08:00
    google ?
    15399905591
        3
    15399905591  
    OP
       2017-09-06 18:02:32 +08:00
    @qq583708076 是的,需要能指定国家的
    15399905591
        4
    15399905591  
    OP
       2017-09-06 18:02:54 +08:00
    @yuanfnadi 需要使用指定国家的 IP,抓取 goole 的内容
    nazor
        5
    nazor  
       2017-09-06 18:08:32 +08:00 via iPhone
    自己维护个池吧,我之前做的一个池,总计 8000 个 ip 左右,800 个可用 ip 还是有的,至于国家,那就离线 ip 库查一下,很快的。
    akafeng
        6
    akafeng  
       2017-09-06 18:12:10 +08:00
    什么国家呢 ?
    Soar360
        7
    Soar360  
       2017-09-06 19:15:33 +08:00 via iPhone   4
    google play 我爬过 而且很成功 可以拿到所有 sdk 版本的 apk 等
    代理 IP 搭车来一波
    https://proxy.coderbusy.com
    xiaozuo
        8
    xiaozuo  
       2017-09-06 19:17:30 +08:00
    需要什么国家,还有预算?
    ctsed
        9
    ctsed  
       2017-09-06 20:03:44 +08:00 via Android
    @Soar360 高匿普匿什么意思呢
    6IbA2bj5ip3tK49j
        10
    6IbA2bj5ip3tK49j  
       2017-09-06 20:04:13 +08:00
    如果是爬 Google Play,可以选择买特定国家的账号。账号锁区了之后,无论是哪儿的 IP,都是锁区的数据。
    KentY
        11
    KentY  
       2017-09-06 20:27:11 +08:00
    @Soar360 能获取中国大陆 ip 的代理吗?
    Soar360
        12
    Soar360  
       2017-09-06 20:39:03 +08:00 via iPhone
    Soar360
        13
    Soar360  
       2017-09-06 20:39:35 +08:00 via iPhone
    @xgfan 还是跟 IP 有关的 感觉 IP 的成本比锁区小好多
    Soar360
        14
    Soar360  
       2017-09-06 20:40:14 +08:00 via iPhone
    @KentY 大部分都是国内的 地址归属地不久上线 已经在开发中了
    Soar360
        15
    Soar360  
       2017-09-06 20:40:54 +08:00 via iPhone
    其实 我最初的做法是开多个 ssr,非常好用。
    KentY
        16
    KentY  
       2017-09-06 20:43:15 +08:00
    @Soar360 我想用脚本获取你最快的国内代理....访问国内网站用, 如果你的代理稳定的话. 目前用的网站一个个都关了.
    dsg001
        17
    dsg001  
       2017-09-06 21:06:44 +08:00
    公司项目应该有预算吧,买对应国家的 vps 或服务器,根据预算多绑些 IP
    cuebyte
        18
    cuebyte  
       2017-09-06 21:08:35 +08:00
    我发现 lz 就没打对过 google 这个词
    cuebyte
        19
    cuebyte  
       2017-09-06 21:09:15 +08:00
    对方当然不支持 goole 啦,你从来都没打对过(笑
    Soar360
        20
    Soar360  
       2017-09-06 21:16:11 +08:00 via iPhone
    @KentY 自用的话 付费的 ssr 会好很多
    Yeungsin
        21
    Yeungsin  
       2017-09-07 08:19:31 +08:00 via iPhone
    @nazor 借楼问下 ip 池初始的 IP 资源是网上公开的爬取的么?
    15399905591
        22
    15399905591  
    OP
       2017-09-07 10:03:20 +08:00
    @Soar360 那你的 google play 是区别国家的吗? 不同国家的排行榜都是不同的,google play 会先根据 IP 去确认语言的~
    15399905591
        23
    15399905591  
    OP
       2017-09-07 10:04:53 +08:00
    @nazor 这个量会比较少,我们这边抓取量每天至少是百万级的,这个 IP 数完全不够用,且需要大部分主流国家的 IP。
    15399905591
        24
    15399905591  
    OP
       2017-09-07 10:05:29 +08:00
    @xiaozuo 大部分主流国家都是需要的,具体费用可以去申请。
    15399905591
        25
    15399905591  
    OP
       2017-09-07 10:06:35 +08:00
    @xgfan 买账号肯定不行的,一个是抓取频率限制,且费用比买 IP 高多了。
    15399905591
        26
    15399905591  
    OP
       2017-09-07 10:08:23 +08:00
    @cuebyte 不要在意这么多细节,哈哈
    nazor
        27
    nazor  
       2017-09-07 10:08:54 +08:00 via iPhone
    @Yeungsin 是的,公开的可用率比较低,10%左右吧。
    15399905591
        28
    15399905591  
    OP
       2017-09-07 10:17:39 +08:00
    @nazor 朋友,有国外的 IP 么~~
    Soar360
        29
    Soar360  
       2017-09-07 11:15:02 +08:00
    @15399905591 肯定是按照 IP 区分国家的。
    Yeungsin
        30
    Yeungsin  
       2017-09-07 12:51:09 +08:00 via iPhone
    @nazor 再麻烦下,剩下的 ip 是通过脚本遍历 ip 验证是不是代理找出来的?还是有什么方法啊?机密的话就算啦。多谢!
    nazor
        31
    nazor  
       2017-09-07 13:17:41 +08:00
    @Yeungsin 这肯定要持续更新可用 IP 的,不过验证速度很快的,超时设置短一点即可。
    sunwei0325
        32
    sunwei0325  
       2017-09-07 23:40:25 +08:00
    试过 crawlera 吗
    15399905591
        33
    15399905591  
    OP
       2017-09-12 15:47:03 +08:00
    @sunwei0325 注册了没发激活邮件就没用了。。
    thomasRZ
        34
    thomasRZ  
       2020-04-03 21:40:02 +08:00
    www.rola-ip.site 不错,全球 210+国家 IP,支持 http/socks 协议。全部高匿名 IP 。爬过 amazon 。。。溜
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2556 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 03:54 PVG 11:54 LAX 20:54 JFK 23:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86