# 目录表 class TC_struct(Document): name = StringField() #目录名 parent = ObjectIdField() #上层目录的 id # 文件表 class TC_item(Document): # 所在目录 parent = ReferenceField(TC_struct) #所在的目录
根据目录,递归查找目录中的所有文件。
#先找到所有的目录。path_id 为所选择目录的 id path_ls = recurs_path(TC_struct, path_id)
#然后找到目录下的所有文件 qry_list = Q(parent__in=path_ls)
#递归查找目录的方法。
def recurs_path(tb_cls, path_id): rds = tb_cls.objects(parent=ObjectId(path_id)).only('id') rt = list() rt.append(ObjectId(path_id)) for rd in rds: # 递归查找子目录中的子目录 rt.extend(recurs_path(tb_cls, rd._id)) return rt
现在的问题是,如果目录结构很深,如有 4000 多个目录,在递归的时候,耗时特别长。
有没有方法,可以提升递归时的效率。 根本的需求是:递归查找目录中的所有文件。
![]() | 1 among OP 4000 多个字目录,响应时间能有 4s 多。 |
![]() | 2 ipwx 2021-12-01 16:59:21 +08:00 就算是操作系统上面递归子目录也这么慢啊。。。 你要检索的时候秒出结果,你就需要加索引: 1. 要么把所有目录的前缀抽出来当 tag 扔进倒排索引。 2. 要么找个支持前缀匹配的数据库。 说实话你可以自己写一个程序挂在那里跑,专门维护内存索引,绝对不慢 |
![]() | 3 among OP mongodb 中的 aggregate 能否支持这种。 |
![]() | 4 libook 2021-12-01 17:45:12 +08:00 你可以先查叶子目录名,看有几个符合要求的,然后再想根递归查询,中间不符合要求的过滤掉,越靠近根目录,候选就越少,最终剩下一个到根目录的候选就是你要的结果,或者到根之前 0 候选就表明目录不存在。然后拿着叶子目录的 ID 去文件表里查,可以一次性查到。 不知道你的场景这样是不是会有效。 |
5 rushpu 2021-12-01 17:49:47 +08:00 ![]() 先用 graphLookup 递归目录表 https://docs.mongodb.com/manual/reference/operator/aggregation/graphLookup/ 在用 lookup 查出对应目录的文件 https://docs.mongodb.com/manual/reference/operator/aggregation/lookup/ |
![]() | 6 among OP @libook 现在的算法就是根据跟的 id ,查找他目录下面的字目录,然后在递归查找这个子目录中子目录,一层层递归。 最后得到所有的目录的 id 的 list , 最后根据这个 list ,找到目录在这些 list 中的文件。 请过时间分析,时间都花在递归目录上了,查找文件很快。 |
![]() | 7 fgwmlhdkkkw 2021-12-01 17:53:06 +08:00 做所有文件名和所有_id 的索引…… |
![]() | 8 fgwmlhdkkkw 2021-12-01 17:54:03 +08:00 或者说,存的时候就倒着存。 |
![]() | 11 zzl22100048 2021-12-01 18:24:37 +08:00 改成对象存储的那种模式,前缀匹配 |