
楼主最近需要采集一些数据。然后看了下 GitHub 上的一些 star 数较高的代理池项目,好像能很好地 work 的不多。 有什么好的开源项目推荐的吗?
1 cwz88 2019-09-25 15:28:37 +08:00 掏点钱不好么? |
2 wyan453351466 OP @cwz88 好呀。有免费得更好呀。没有的话我就直接掏钱买了。 主要是采集的数据量大。如果长期付费是一笔不小的开支,能省则省嘛(手动狗头) |
3 cwz88 2019-09-25 15:32:55 +08:00 我研究过这个,免费的都不靠谱 |
4 andylsr 2019-09-25 15:34:48 +08:00 via Android 基本都是那几个网站的代理,结论是并没什么可以用的 |
5 scukmh 2019-09-25 15:37:13 +08:00 haipproxy, 其实 GitHub 上的此类项目都差不多,大家爬取的代理网站无非就那么几个,这样看来还不如选择一个简单易用的。 |
6 wafm 2019-09-25 15:37:29 +08:00 即使是付费的也一堆雷,免费的就别想了,有动手能力可以自己扫 |
7 div class="sep3"> itsjoke 2019-09-25 16:09:22 +08:00 动态 XXX 了解一下 |
8 kingfalse 2019-09-25 16:11:37 +08:00 直接花钱买吧,试那些就是浪费时间 |
9 wyan453351466 OP @kingfalse 嗯,我觉得也是。即使写出来一个代理池爬虫,维护这个代理池爬虫还有服务器成本其实也是一项开支 |
10 nullboy 2019-09-25 16:55:52 +08:00 收费的也是垃圾 |
11 lxghost 2019-09-25 17:12:24 +08:00 http://www.zhimaruanjian.com/ 每天可以领免费的 |
12 hanyu586 2019-09-25 17:13:43 +08:00 铜球 |
13 zsy979 2019-09-25 17:58:50 +08:00 免费的你短时间内发两次请求状态都可能一个成功一个失败 233 |
14 snxq1995 2019-09-25 18:00:33 +08:00 via Android 拨号上网了解一下 |
15 HuberyPang 2019-09-25 18:06:24 +08:00 https://github.com/pangxiaobin/proxy_ip_pool 我之前写了一个 不过也是爬取那几个免费代理网站 可以自己在找一些添加到项目中 |
16 sadfQED2 2019-09-25 18:07:04 +08:00 github 上免费的我基本上都试过,另外我也自己去各种地方收集过免费的,总结下来一句话就是:浪费时间 然后我又用了给钱的,最后总结下来是:给钱也不咋地(每年 5 万,可能是我钱没给够) |
17 jetpy 2019-09-25 18:57:54 +08:00 即使是自己做着玩耍的项目也建议付费的,免费的根本就是浪费时间,90%以上都不能用, 公司项目的话直接就不用考虑免费的,安心付费吧。 |
18 killlakilllike 2019-09-25 19:40:38 +08:00 https://www.zdaye.com/ 这个,有免费的 |
19 luckbbs 2019-09-26 08:33:46 +08:00 付费的,也很多爬的免费网站。 |