为什么使用了代理 ip 依然被封？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

Learn Python the Hard Way

Python Sites

PyPI - Python Package Index

http://diveintopython.org/toc/index.html

Pocoo

值得关注的项目

PyPy

Celery

Jinja2

Read the Docs

gevent

pyenv

virtualenv

Sentry

Shovel

Pyflakes

pytest

Python 编程

pep8 Checker

Styles

PEP 8

Google Python Style Guide

Code Style from The Hitchhiker's Guide

这是一个创建于 2974 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前在抓一个站，抓多会被封 ip，然后我用了代理 ip 去抓，每次请求都换一个 ip。但是依然被封了！报 429 这个错误，不知道原因是啥？

代理

请求

封

依然

30 条回复 2018-02-03 09:38:24 +08:00

yunkchen

2017-10-10 12:00:40 +08:00

代理 IP 确定是有效的么？

Soar360

2017-10-10 12:01:12 +08:00

Cookie ？

aragakiiyui

2017-10-10 12:02:10 +08:00

@yunkchen 确定有效哦，都是过滤好了的。

mrzys

2017-10-10 12:53:41 +08:00 via Android

cookie，还有代理是高匿的吗？

aragakiiyui

2017-10-10 12:54:47 +08:00

@Soar360 @mrzys 好像不是高匿的，cookie 要怎么处理？

won

2017-10-10 12:56:19 +08:00

现在黑名单规则通常用 IP+MAC 两管齐下

aragakiiyui

2017-10-10 12:57:10 +08:00

@won 那这个有什么办法处理吗？！

won

2017-10-10 12:58:47 +08:00

USB 网卡+代理 IP

LGA1150

2017-10-10 13:06:56 +08:00 via Android

@won 对方服务器只能看到它网关的 MAC 地址

15399905591

2017-10-10 15:15:39 +08:00

你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的

julyclyde

2017-10-10 15:35:31 +08:00

@won 为啥总有人连基本原理都不懂就理直气壮的啊

Soar360

2017-10-10 16:02:49 +08:00

Cookie 当然是每换一次 IP 清理一下咯。
高匿代理附上：
https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/highanonymous.aspx?from=v2ex

SoulGem

2017-10-10 16:43:19 +08:00

随机高匿+随机 UA
另外检查好 Request 是否正确，可能会有别的防爬处理

aragakiiyui

2017-10-10 18:08:34 +08:00

@Soar360 3q,下午把抓代理代码的重写了一下，加入了高匿和透明的分类，明天再试试看。

aragakiiyui

2017-10-10 18:18:36 +08:00

@SoulGem 这个站就是会限制访问次数，我换了高匿的 ip 还是被发现了原始 ip....

afeicool

2017-10-10 18:25:19 +08:00

@Soar360 我去，爆，怎么来的？

tbag781623489

2017-10-10 18:58:32 +08:00 via iPhone

@Soar360 刚需啊，thx

ji4ozhu

2017-10-10 19:00:19 +08:00

百度搜掘金网就是高匿的

mansur

2017-10-10 19:09:09 +08:00

你确定 ip 有效吗？你访问 http://ip.chinaz.com/ 看下放回的 ip 地址是代理的地址还是你服务器的地址

4BVL25L90W260T9U

2017-10-10 19:50:36 +08:00

@Soar360 请问 post 代理是什么意思, 支持 post 么, 还有不支持 post 的代理?

schema

2017-10-11 08:07:24 +08:00

@won 是这样吗，怪不得我用高匿爬豆瓣会被封，一直想不通

schema

2017-10-11 08:08:23 +08:00

@Soar360 给的链接后面加 ?from=v2ex 是为了做啥？

cat9life

2017-10-11 10:35:22 +08:00

@schema 为了统计站长肯定会好奇能带来多少访问量

hugedata

2017-10-11 10:36:55 +08:00

@Soar360 我擦，冰爷。。。

schema

2017-10-11 10:42:16 +08:00 via Android

@hugedata 这是哪位大神？为啥真的惊讶 (⊙o⊙)

Soar360

2017-10-11 11:50:29 +08:00

@ospider 嗯，有部分代理不支持POST 的。

Soar360

2017-10-11 11:50:55 +08:00

@afeicool 扫描、爬取 ext。。

aragakiiyui

2017-10-11 14:16:31 +08:00

@Soar360 @15399905591 @mansur 我用的高匿代理，然后清了 cookie，这个站还是 429 挡我，并且把我原始的 ip 返回给我了....

yongpomat

2017-10-11 16:47:16 +08:00

有个软件专门干这个的，15 一个月，我搞批量注册用了好久了。非 vpn。ss。。

sw10

2018-02-03 09:38:24 +08:00

主要是两点：
1. 使用代理是高匿名的吗？这个可以通过 httpbin 查询到。
2. 对手网站是如何标识用户的？ cookie ？ token ？

#28 我用的高匿代理，然后清了 cookie，这个站还是 429 挡我，并且把我原始的 ip 返回给我了....
既然能知道你的原始 ip，那您使用的应该就不是高匿名代理。另外，也可能对方在其他处记录了您的原始 IP。

最后，我们提供代理 IP 服务，可以了解下。
/t/424630