推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2470 天前的主题，其中的信息可能已经有所发展或是发生改变。
这个网站加了代理报错如下
网址： http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index
自己的 middleware 组件
import base64
class proxy_middleware(object):
def __init__(self):
proxy_host = "t.1n.cn"
proxy_port = "**"
self.username = "***"
self.password = "***"
self.proxies = {"https": "https://{}:{}/".format(proxy_host, proxy_port)}
self.proxy_server = 'https://w5.t.16yun.cn:6469'
self.proxy_authorization = 'Basic ' + base64.urlsafe_b64encode(
bytes((self.username + ':' + self.password), 'ascii')).decode('utf8')
def process_request(self, request, spider):
request.meta['proxy'] = self.proxy_server
request.headers['Proxy-Authorization'] = self.proxy_authorization
2019-01-05 10:37:46 [csrc][scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_1.html> (failed 1 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong version number')]>]
网址： http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index
自己的 middleware 组件
import base64
class proxy_middleware(object):
def __init__(self):
proxy_host = "t.1n.cn"
proxy_port = "**"
self.username = "***"
self.password = "***"
self.proxies = {"https": "https://{}:{}/".format(proxy_host, proxy_port)}
self.proxy_server = 'https://w5.t.16yun.cn:6469'
self.proxy_authorization = 'Basic ' + base64.urlsafe_b64encode(
bytes((self.username + ':' + self.password), 'ascii')).decode('utf8')
def process_request(self, request, spider):
request.meta['proxy'] = self.proxy_server
request.headers['Proxy-Authorization'] = self.proxy_authorization
2019-01-05 10:37:46 [csrc][scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_1.html> (failed 1 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong version number')]>]
 | 1 xz 2019-01-05 10:45:49 +08:00 你们公司在哪？还招人吗？ |
 | 2 PulpFunction 2019-01-05 10:46:26 +08:00 网址都 404 了 1n.cn 是啥代理 |
 | 3 Ewig OP |
| 4 Ewig OP |
| 5 Ewig OP @PulpFunction 我故意写错的，是一个动态代理 |
 | 6 meik2333 2019-01-05 11:05:24 +08:00 via Android 难道 1n.cn 就是下面那个 w5.t.16yun.cn:6469 么？ |
 | 7 misaka19000 2019-01-05 11:09:15 +08:00 via Android 又见不格式化的 python 代码，v 站的用户素质已经这样了吗？ |
| 8 PulpFunction 2019-01-05 11:30:05 +08:00 建议你看看官方文档，我是 splashrequests 形式如： SplashRequest （ url, callback, endpoint, args{lua_source.......proxy}） 你看你用什么 Request 应该大同小异 换个代理，有的不好使 |
| 9 Ewig OP @PulpFunction 解决了，谢谢！ |
Select Language