不考虑被爬网站的各种限制，有什么方法可以加快爬虫的速度？

首先确定 瓶颈 在哪里。

如果是阻塞的 IO 可以换非阻塞的 IO，便于榨干 CPU. 然后开多个线程并绑定到每个核心上。

之后看 CPU 和 带宽哪个先成为瓶颈，如果带宽不够用了，考虑只发 HEAD 请求，或者自己实现 HTTP Client 读完头部就关连接。如果 CPU 先成瓶颈那就换语言吧

代码逻辑上尽量增大并行度。

楼上大佬说得对。讲得很全面了。
还有一点就是做好 DNS 缓存，这个对爬虫性能影响很大。

@fiht 有点在意 DNS 缓存要怎么做，前几周查了老半天。。（有个 python dns 请求量爆炸，不知道为啥全部都往上游发 dns，本地完全没缓存

scrapy

@qsnow6 没有自己写的快。

@justfly
> 自己实现 HTTP Client 读完头部就关连接
请问下这个怎么实现？自己实现 HEAD 请求还是？

@mon3 不知道你怎么写的，scrapy 单进程 7000 page /min 跟玩一样

@Akkuman

这是我的一个脑洞，能用 HEAD 当然优先 HEAD 请求，考虑到很多网站不接受 HEAD 请求，只能 GET，但楼主想要极致速度，就要节省带宽，你就要自己发 GET 请求，读完头部就别再管很大的 body 了。

这个实现要到直接操作 socket 了。

@justfly 谢谢提示^-^