
配合 requests 使用效果更佳:D
pip install proxies OR:
git clone https://github.com/MyFaith/proxies python setup.py install import random, requests from Proxies import Proxies p = Proxies() p.get_proxies(20, 1) # quantity: 数量 # type: 类型 (1.国内高匿代理 2.国内普通代理 3.国外高匿代 4.国外普通代理) result = p.get_result) proxy = random.choice(result) requests.get('x.com', proxies=proxy) 1 chroming Jul 25, 2016 感谢分享 |
2 GreatMartial Jul 25, 2016 这个好! 谢谢分享,收藏了 |
3 Asimov Jul 25, 2016 via Android 什么原理?好东西别被滥用了 |
4 8023 Jul 26, 2016 via Android @Asimov 瞄了一眼代码, 应该是只 Python 爬虫, 爬快代理上面的免费数据, 滥用是肯定的, 但还是要感谢 up 主. 已 star. |
5 killerv Jul 26, 2016 快代理上面的貌似可用性很低,收费版的也是一样 |
7 killerv Jul 27, 2016 @hl http://www.xicidaili.com/ 这个好像还不错,一些免费的代理也可以用,多的我也不清楚了,以前写爬虫的时候买的收费的。 |
8 SuperFashi Jul 27, 2016 via Android 感觉楼主完全把 proxies 这个 package name 浪费了啊。 只有 http 代理且只有快代理一个源,这未免从可用性上来说太低了吧。 至少也得多来点例如 http(s), socks4/5 各类的代理+各种来源。 使用 gevent 协程和把 url 写死都是败笔,莫非是只想更新这一版吗? |
9 MyFaith OP @SuperFashi 那天晚上突然的想法,用 10 分钟写出来的,后续会完善的。 |
10 Nanguage Jul 29, 2016 via iPhone 先赞一个,刚才看了一下快代理那个网站,我觉得可以添加根据相应速度筛选的功能 |
11 fengjianxinghun Jul 30, 2016 via iPhone 这个,只依赖一个源? |