推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
爬虫绕不开代理，免费的可用率低，付费的过期时间往往又不确定。如何校验也是问题。造了个轮子，欢迎拍砖~
xtpitt 2019-12-16 00:41:28 +08:00 5324 次点击这是一个创建于 2155 天前的主题，其中的信息可能已经有所发展或是发生改变。
proxy_tower
代理负载均衡模块，更高效率的使用代理池
注：proxy_tower 本身不抓取、嗅探代理
特性
- 多倍转发
- 支持将收到的代理请求转发给多个 proxy
- 返回最快并且有效的 response
多倍转发可有效解决免费 /不稳定代理使用率低的问题
- response 校验
- pattern 是目标站点的某个复用页面，通常有同样的 URL 前缀，类似的 HTML 结构，如豆瓣电影
movie.douban.com/subject/ - 通过前缀树存储 pattern 和对应的 xpath 或 keyword 校验规则，高效、简便的解决了多站点校验的问题
- 不同的 pattern 有其各自的代理池
- pattern 是目标站点的某个复用页面，通常有同样的 URL 前缀，类似的 HTML 结构，如豆瓣电影
第 1 条附言 2019-12-16 13:39:25 +08:00
回答下大家的疑问吧
其实实际使用中，往多个免费代理转发成功率是大大提高的，免费代理最大的缺点是不稳定，谁也没法保证一个免费代理下一秒还能不能用，被封反而是次要的。(最多可能就会影响其他正常使用免费代理的人
另外 response 校验就是通过计分，不让一个代理一直访问，某个代理一直失败的话会加入冷却池。轮换多个代理还是失败的话，那很可能是其它问题，这个时候就会 alert。
其实实际使用中，往多个免费代理转发成功率是大大提高的，免费代理最大的缺点是不稳定，谁也没法保证一个免费代理下一秒还能不能用，被封反而是次要的。(最多可能就会影响其他正常使用免费代理的人
另外 response 校验就是通过计分，不让一个代理一直访问，某个代理一直失败的话会加入冷却池。轮换多个代理还是失败的话，那很可能是其它问题，这个时候就会 alert。
 | 1 locoz 2019-12-16 01:07:04 +08:00 via Android  1 看了一下，大概猜到你是弄这东西是为了干啥了…不建议用这么简单粗暴的方式硬怼，量大的话很容易把 IP 池给污染掉，用一段时间后会发现成功概率越来越低。 “付费代理过期时间不确定”这个有点迷，如果说是要保持使用同一个 IP 的话，跟同时转发给多个代理这个操作又是有冲突的。而且现在做得比较大的那几家代理 IP 商貌似都没有过期时间不确定这个情况？ |
| 2 locoz 2019-12-16 01:09:13 +08:00 via Android  1 然后现在国内有专门的爬虫社区了，我们夜幕团队弄的，楼主你可以去那边也发一下 hhhh，地址是： https://bbs.nightteam.cn |
 | 3 xtpitt OP @locoz 看过大佬的社区，明天去转发一下 1. 多倍转发特性主要是针对免费代理的，目的是快速过滤掉一些广告代理和低质代理，方式确实有点类似的多倍发包，哈哈哈。 付费代理的话，我之前用过的某麻代理等，都说明 15 分钟有效，但测试下来，过期时间确实不稳定。 2. 主要想推广 response 校验的特性，在别的代理项目中，暂时还没发现实现这个功能的~ |
| 4 locoz 2019-12-16 01:36:42 +08:00 1 @xtpitt #3 这样啊。我明天帮你喷一喷某麻的人  。response 校验的话就是我前面说的，方便是方便但是容易把 IP 池污染掉。毕竟现在很多反爬虽然识别 IP 但并不是以 IP 作为核心判断点的（因为商业级代理 IP 全是拨号 IP...容易误伤），如果出现被反爬的情况很大概率是因为别的问题，而这种情况下如果还继续暴力请求的话就很容易被直接封 IP 了。 这种偏无感知的 response 校验操作挺好的，适合往一些框架里集成（指对反爬系统返回的东西进行通用化的校验）。 |
| 6 xtpitt OP @392039757 中小型项目还是可以玩玩的，毕竟还有很多公司不舍得买代理。开着校验和多倍转发，我在个人项目用着成功率很高。 |
 | 7 lc7029 2019-12-16 11:27:13 +08:00 1 扫描 IP，能用就加到代理列表里 以前闲的蛋疼把 0.0.0.0-255.255.255.255 全扫了，顶多 43 亿地址 |
| 8 OP @lc7029 算上端口，数量还是挺多的。虽然代理的端口一般都用那几个。 |
Select Language