问一个关于 scrapy 爬虫遇到反扒的问题

爬蚂蜂窝，然后遇到了 521response 反爬。自己搜了一下这个反爬还好处理，就是解码设置 cookie 的事。 但是我后来测试时候发现其实只要设置一个 5 秒左右的延时，通过 selenium 返回的 page_source 就是跳过反爬信息得到的完整页面信息了。

于是综上探索，我预想的是在 scrapy 中间件中加入 selenium，在 process_request 里做 get 请求之后，time.sleep 四五秒钟，然后返回 response 做后续处理。

想的是很美好，但是测试时候发现，因为中间件的 selenium 做 get 请求时，url 地址是 request.url,而这个 url 好像因为之前 scrapy 自带的 request 没有通过反爬然后就从一开始 url 就变成了 www.mafengwo.cn/robot.txt ，那这个 url 肯定是没法用了。用 spider.start_urls 的话又要处理一个列表问题，如果是爬好几个页面感觉从这个列表提取 url 也不是很靠谱啊。

那么有什么靠谱点的办法，让 request.url 传递过去正常的 url 呢？

附上 selenium 中间件的代码：

class SeleniumMiddleWares(object): def __init__(self): self.driver_path = '/Users/michealki/Downloads/chromedriver' self.optiOns= Options() self.options.add_experimental_option('excludeSwitches', ['enable-automation']) # self.options.add_argument('--headless') self.driver = selenium.webdriver.Chrome(executable_path=self.driver_path,optiOns=self.options) @classmethod def from_crawler(cls, crawler): s = cls() crawler.signals.connect(s.spider_closed, signal=signals.spider_closed) return s def process_request(self, request, spider): #url = request.url url = spider.start_urls[0] self.driver.get(url) time.sleep(5) return HtmlResponse(url=self.driver.current_url, body=self.driver.page_source, encoding="utf-8", request=request) def spider_closed(self, spider): self.driver.quit() class Spider0(scrapy.Spider): name = 'spider0' start_urls = ['http://www.mafengwo.cn/poi/7918553.html'] def parse(self,response): pass