最近在写爬虫,没有代理 IP 没法搞,请问大家,scrapy 的代理 IP 哪里搞?极光的代理 IP 太贵了,有没有便宜点的?

1 SpiderXiantang Nov 7, 2018 便宜的可用率低,可用率高的又贵 |
2 moxiaowei OP @SpiderXiantang 是的 是的 纠结的一笔 |
3 moxiaowei OP @SpiderXiantang 能问下 您用的啥么? |
4 SpiderXiantang Nov 7, 2018 @moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵 |
5 moxiaowei OP @SpiderXiantang 谢谢 我来看下 。 |
6 glacer Nov 7, 2018 需求量小的话,用 IPProxyPool 来爬免费代理,可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool 需求量大的话就只能买代理服务,或者动态 vps 搭 squid 来实现。 |
7 ioven Nov 7, 2018 买些垃圾 vps 自己搭建 |
8 SpiderXiantang Nov 7, 2018 @glacer 免费代理实际效果不是很理想 |
9 moxiaowei OP 就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔 |
10 hellove1985 Nov 7, 2018 以前用过一段时间这个免费的 https://github.com/fate0/proxylist,不知道现在还能不能用。 |
11 moxiaowei OP @hellove1985 好的 我来看看 |
12 princelai Nov 7, 2018 via Android 我用大象,便宜给得多,可用率没算过,估计不高,冲 10 块钱用一个月 |
13 kdwycz Nov 7, 2018 很好奇 ip 代理服务的 ip 来源是什么 |
15 xiaobai9927 Nov 7, 2018 免费代理都不靠谱,100 个 IP 中有一两个可用已经很好了。 而大部分便宜的代理也不靠谱,买过几个小时和一天和一个月的,几块钱那种,反正不能爬。要么连接不上,要么 403, 有好的介绍下,同求。。。 |
16 kr380709959 Nov 7, 2018 蘑菇代理还不错,之前爬的时候用过。可靠性高,价格也不算很高,主要是按次收费 |
17 WildCat Nov 7, 2018 |
18 JCZ2MkKb5S8ZX9pq Nov 7, 2018 我的方案,自己写个工具,定器爬取世面上的免费代理,测速,然后把好用的拿出来轮流使用。 |
19 moxiaowei OP @JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的,不过有个问题是,这一刻能用,并不能保证下一刻也能用,所以,轮流使用我感觉不靠谱 |
20 JCZ2MkKb5S8ZX9pq Nov 7, 2018 @moxiaowei 调用方法我也检测的,好用不好用的都打标记,好用的继续排队,不好用的后台定期重试,超过次数丢弃。 |
21 eastlhu Nov 7, 2018 via iPhone @JCZ2MkKb5S8ZX9pq #18 羊毛高手 |
22 ji4ozhu Nov 7, 2018 www.54nb.com 挂机宝了解一下 |
23 moxiaowei OP @JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证,很快就验证完,然后立刻使用,这样成功率相对高了很多 |
24 JCZ2MkKb5S8ZX9pq Nov 8, 2018 @moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙,单 ip 太频繁会被 b,所以不得不排队。 |
25 sw10 Nov 25, 2018 |