This topic created in 3517 days ago, the information mentioned may be changed or developed.
用 scrapy 爬几百万的 url ，现在开一个 scrapy 效率有点慢。
考虑如何多开几个 scrapy ，通过分割队列来运行。
现在遇到的情况是 复制原来项目，修改 spider 名字以及 setting 部分设置。 运行报错找不到 spider
仅仅复制原来项目，修改队列。 发现还是原来的 spider
请大家指教下，如何通过分割队列运行 scarpy
 | 1 laoyur Sep 12, 2016 把这几百万 url 扔到 redis 里，让爬虫自己来取？ |
 | 2 BiggerLonger Sep 12, 2016 一下把程高一 |
 | 3 facat Sep 12, 2016 via Android 爬虫是受网络 i/o 影响大，多开不见得有效果 |
 | 4 neosfung Sep 12, 2016 |
 | 5 mrytsr Sep 12, 2016 via Android 分级的话 内部自动通过 协程多开 |
 | 6 ssllff123 OP 好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。 |
Select Language