获取 ProxyList - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
noodlees
V2EX    分享创造

获取 ProxyList

  •  
  •   noodlees 2017-12-04 18:23:31 +08:00 4045 次点击
    这是一个创建于 2897 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有的时候需要悄悄地爬取别人的网站上的东西,但是又不希望因为这个去购买爬虫 API (有的时候也不一定靠谱), 所以索性自己写爬虫,先去爬网上免费的代理 IP,然后筛选汇集成一个代理 IP 池。

    然后我现在就简单的写了一个简单的获取代理 IP 的主体,希望能有更多人参与进来,大家一起有需要的就拿去用。

    特性

    - 使用方便,直接 npm require,直接获取 IP List. - 增加其他在线代理网站方便,增加爬取网站就只需要写一个 js. - 简单,不需要其他的操作,最后的结果就一个想法,最快,最好,最稳定的 **免费** IP List(希望如此吧 =.=) 

    缺陷

    - 如何筛选出最快可用 IP 还没做,但是有一些想法,比如 ping 出最快的,或者是直接用爬取网站的排序 - 有的 IP 虽然速度很快但是无论访问哪个网址都会返回他的广告,这个要去掉。o(□)o - 代理网站太少了,我现在就做了一个 

    如果有相同想法的可以一起来开发,nodejs 开发,依赖就一个 cheerio, 只需要写上 cheerio 的爬取方法就可以了。

    欢迎 PR.

    gayhub

    如果已经有成熟的开源库,请一定告诉我,特别是直接就能拿到大量的高速,稳定的 Proxy IP List 的库,这样我就不用再重复造轮子了。

    10 条回复    2017-12-20 10:36:00 +08:00
    golmic
        1
    golmic  
       2017-12-04 18:40:37 +08:00
    cojing
        2
    cojing  
       2017-12-04 21:06:23 +08:00
    http://mcbbs.online:3000/proxy/v1/all/json
    noodlees
        3
    noodlees  
    OP
       2017-12-05 09:18:20 +08:00
    @cojing NICE, 这个很好,我先看看可用性
    selfAccomplish
        4
    selfAccomplish  
       2017-12-05 09:21:36 +08:00
    @cojing 这是你自己搭建的吗老哥
    kohos
        5
    kohos  
       2017-12-05 15:14:26 +08:00
    https://proxy.coderbusy.com/
    这网站不错,就是没找到接口
    cojing
        6
    cojing  
       2017-12-05 21:44:06 +08:00 via Android
    @selfAccomplish 是的 自用 稳定性不强
    skyfore
        7
    skyfore  
       2017-12-06 10:04:56 +08:00
    @kohos 可以自己去爬 ~
    Soar360
        8
    Soar360  
       2017-12-07 10:24:29 +08:00
    @kohos 接口是有的,但是没敢公开。
    selfAccomplish
        9
    selfAccomplish  
       2017-12-07 20:47:54 +08:00
    @cojing 嗯嗯,谢谢了,省下自己搭建了;)
    qsnow6
        10
    qsnow6  
       2017-12-20 10:36:00 +08:00
    @Soar360 好使,谢谢

    可以问下是怎么刮的吗?
    用 nmap 扫再验证?

    或许我也可以自己搞台 VPS 扫下,这样就不怕经常扒你,扒挂了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4834 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 09:45 PVG 17:45 LAX 01:45 JFK 04:45
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86