这是一个创建于 2673 天前的主题，其中的信息可能已经有所发展或是发生改变。
scrapy 新手，想到一个问题，比如京东有很多商品，不能确定它们的总数，所以即使爬回来很多数据，怎么判断是否已经把所有的商品都爬取到了
如果不能判断，应该采取什么方法尽可能多的爬数据
crawlspider 可以做整站爬取，但是是不是真的能够取尽所有的 url ？
跪求大神解答
如果不能判断，应该采取什么方法尽可能多的爬数据
crawlspider 可以做整站爬取，但是是不是真的能够取尽所有的 url ？
跪求大神解答
 | 1 nine99 2018-06-20 12:09:23 +08:00 没有通用的方法，得看你爬的思路 |
 | 2 tozp 2018-06-20 15:27:06 +08:00 只要思路是正确的，爬虫 finish 的时候就爬完了。 |
 | 3 rootx 2018-06-20 15:39:02 +08:00 via iPhone 自己想 |
 | 4 shangfabao 2018-06-20 17:49:56 +08:00 自己判断 |
 | 5 icy37785 2018-06-21 13:48:42 +08:00 via iPhone 木有通用方法 |
Select Language