noobpythoner's recent timeline updates noobpythoner's recent timeline updates | noobpythonerV2EX member #229286, joined on 2017-05-05 18:55:40 +08:00 |
| Python 进程池在面向对象过程中，进程池无法调用实例方法 Python noobpythoner May 8, 2018 Lastly replied by justou | 2 |
| 使用了 socket 的 dns 缓存，为什么速度还变慢了呢 Python noobpythoner Oct 8, 2017 Lastly replied by mengskysama | 3 |
noobpythoner's recent replies
Jun 8, 2017 Replied to a topic by gap Python Python 程序员的是被称为 Pythonista 吗？还是 Pythoner？ |
oh，糟了
Jun 8, 2017 Replied to a topic by Yingruoyuan Python scrapy 下载图片到 4w 张左右总是会卡住 |
可以使用 scrapy_redis 来完成，所有的去重都是通过 redis 来完成的，还能够做到状态保持，如果需要可以实现分布式，redis 的内容类似下面，
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"
或者可以迭代的读取数据库的内容，下一次请求之前从内存中删除上一次的请求地址，类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过，但是应该是可行的
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"
或者可以迭代的读取数据库的内容，下一次请求之前从内存中删除上一次的请求地址，类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过，但是应该是可行的
Select Language