ssllff123

我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。

celery 确实不是队列，可能我的问题没有描述清楚。

54 祝股票顺利

@for4 我和你想的一样，但是有些问题
1 ，是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ，感觉并不快啊 。
3 ，可否有写好的项目看看

好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。

@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中