高速稳定的代理

开全局代理之后再开 goagent 去爬？

@alect 这是要伪装成 g 蜘蛛吗

马宝有卖

tor ，你值得拥有。
我在 do 的 vps 上开 100 个 tor 实例，每小时重启 1/3 实例，于是就有了取之不尽用之不竭的 ip

@xfspace 某宝的稳定靠谱吗

@tongle 马宝的也不稳定...你只能手动扫了

@pango 怎么弄得？求教程？

@pango tor 的血就是被你吸干的，[doge]

@pango 求科普 tor

@pango 同求教程

@pango 求求求

ADSL VPS ，断开就换 IP ，一个地区少说一万多 IP ，足够了吧

hrvpn 这货感觉不错~

@fchypzero 求推荐

好像我知道有个团队正在做一个这样子的产品，针对的场景和你的需求还挺像，简单来说，是一个单入口，多出口的正向代理服务，出口可以自动更换 IP ，去访问你的目标 URL ；但是是收费的，好像是准备按次或者流量来收费，不知道现在开发到什么阶段了。。。

@kmahyyg 开 n 个 tor ，比如： tor --RunAsDaemon 1 --CookieAuthentication 0 --HashedControlPassword "" --ControlPort $your_random_port --PidFile tor$your_random_id.pid --SocksPort $your_random_socks_port --DataDirectory data/tor$your_random_id ，然后你就有了 n 个不同端口的本地代理啊，然后抓取程序随机选择一个就行了。

@boter 好吧，我去开少点，其实我也只是抓取的时候开一下啊，一般每次就一两个小时。[doge] 是什么意思？

刚刚去看了下 tor 的原理，“ Tor 的转发节点都是网络上的志愿者们使用自己的服务器和网络带宽建立起来的，如果通过 Tor 网络来进行巨额数据的传输，实在是非常的不厚道”。
我决定放弃使用 tor 抓取大量数据了，多谢 boter 提醒，也请大家仅用这个方法来测试用，不要用作生产环境。
在这里推荐另外一个方法：
https://github.com/wenson/proxypool
这个可以抓取各大 proxy 站点公布的 proxy ，经过测试有效性后存入 redis ，可以同时提供多达几百个有效 proxy ，可以自己写个 cronjob 每隔一段时间更新 proxy 库，用作抓取应该够了。

伪造蜘蛛 UA 可行吗

我只是想开一个程序临时用用，主要用 ss 。有详细的部署教程吗？ for centos7/debian7 均可

hidemyass 有个一次付费的服务 每天给你发一批验证后的代理

https://proxy.peuland.com 上面有大量可用的代理

使用 luminati 也可以，背后是基于 Hola 的，类似 tor ，但是是正规提供代理服务的，相当于 hola 的商业版本。

缺点是申请有点麻烦，价格有点贵。
优点是相对稳定、并且可以过滤选择国家。

@pango 如何实现代理的自动转换？

爬哪个网站啊? ip 被封多久? 用代理也不是一样被封?

@cppgohan 被封 ip 应该是永久封禁

@boro nginx1.9+有 proxy 模块，可以自动进行 sock 代理的负债均衡~

http://www.xicidaili.com/
假的太多，几乎全是重复的，去重后没几个，能用的几乎没有几个

@boro
proxy =['x.x.x.x:xx','x.x.x.x:xx','x.x.x.x:xx'...........]
random.choice(proxy)

@tongle 永久被封, 用代理也没法避免, 除非知道他的封锁策略. 好奇是哪个网站, 我也爬一爬

@yuzo555 淘宝 ADSL VPS

@cppgohan appannie 这个

再来一发 http://www.mimiip.com

推荐用这个代理 xflash.pro