大佬们 NAS 搜索文件都是怎么解决的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
lialosiu
V2EX    NAS

大佬们 NAS 搜索文件都是怎么解决的

  •  
  •   lialosiu Aug 22, 2022 4357 views
    This topic created in 1346 days ago, the information mentioned may be changed or developed.

    我现在的配置是洋垃圾超微板子,带硬盘 3x3T ,2x16T

    硬盘大,小文件多,linux 下跑搜索简直痛苦面具拉满...

    试了下各种搜索工具都不尽人意,始终达不到 everything 那种搜啥出啥的感觉,甚至建索引都要跑好久好久....

    然后新增文件还经常不能实时搜索到...

    linux 下就没哪个文件系统有能实现搜啥出啥的吗(

    19 replies    2022-08-23 12:16:25 +08:00
    dilu
        1
    dilu  
       Aug 22, 2022
    装个黑裙吧 别给自己带痛苦面具了
    BeautifulSoap
        2
    BeautifulSoap  
       Aug 22, 2022
    我 NAS 用 Samba 挂载到 Windows ,然后直接用 everything 对挂载的盘做定期的全盘索引(其实只要是在装了 everthing 的系统里操作挂载的盘,everthing 都能实时索引到的)

    我虽然一个盘 14T 大,但每次索引基本几分钟就结束了并不慢(小文件实在太多了的话另说)
    delectate
        3
    delectate  
       Aug 22, 2022
    ssh 进去,然后 tree 列出来所有文件。把 txt 拉到本地,正则查找文件。
    ngv2
        4
    ngv2  
       Aug 22, 2022
    mlocate
    BeautifulSoap
        5
    BeautifulSoap  
       Aug 22, 2022
    > linux 下就没哪个文件系统有能实现搜啥出啥的吗

    没有,linux 的文件系统从原理上就根本不支持不扫全盘就建文件索引找文件。linux 下无论什么查找工具,归根结底到头来都是扫全盘
    ngv2
        6
    ngv2  
       Aug 22, 2022
    @BeautifulSoap
    mlocate
    虽然本质上也是扫全盘,但这个工具会定期扫并且把改动存到数据库里
    查找是不需要扫盘的,只需要查库

    另外还有 rlocate locate 之类的工具
    BeautifulSoap
        7
    BeautifulSoap  
       Aug 22, 2022 via Android
    @ngv2 啊,我还以为 lz 想问的是 linux 下有没有像 Windows 下的 everything 这种不用扫全盘就能建全盘索引,并且所有文件操作实时收录的软件。如果接受定期扫全盘的话,的确 linux 下工具选择挺多的
    nkidgm
        8
    nkidgm  
       Aug 22, 2022
    群晖的全局搜索很快的
    ScepterZ
        9
    ScepterZ  
       Aug 22, 2022
    我直接装了 Windows ,自然获取了 everything 的那种感觉(
    wudaye
        10
    wudaye  
       Aug 22, 2022
    何必呢,win server 多方便
    tpxcer
        11
    tpxcer  
       Aug 22, 2022
    直接命令行进去搜的
    zcloud
        12
    zcloud  
       Aug 23, 2022
    你 Windows 安装 everything 。然后 everything 这样设置就好了。
    Windows 映射网络驱动器 映射 NAS 中的磁盘。
    然后打开 everything 。
    工具→选项→索引→文件夹→添加文件夹(选择刚才映射的磁盘即可) 即可。
    lialosiu
        13
    lialosiu  
    OP
       Aug 23, 2022
    @BeautifulSoap 我想要的就是类似 everything 这种不用全盘扫的...

    主要是几十 T 的硬盘,全盘扫一遍几个小时没了,扫的时候还 io 拉满,响应巨慢....

    试过群晖了,并没什么卵用,还是要全盘扫。然而我 nas 上一大堆小文件,甚至还有好多项目的 node_module 之类的(

    而且重点是索引更新不及时....

    怀念起当年 windows server 一把梭的时候了,存储空间一拉,smb 一开,everything 一装,甚至还能客户机搜索 nas 上的 everything (
    lialosiu
        14
    lialosiu  
    OP
       Aug 23, 2022
    @BeautifulSoap 我很好奇为啥 linux 下林林总总这么多文件系统,就没人设计一个能快速索引文件的,就很怪(
    TerranceL
        15
    TerranceL  
       Aug 23, 2022
    换个思路,尝试整理一下硬盘?
    lialosiu
        16
    lialosiu  
    OP
       Aug 23, 2022
    @TerranceL 几十 T ,整理要命的(
    aloxaf
        17
    aloxaf  
       Aug 23, 2022
    @lialosiu #13

    考虑用 lolcate-rs ,然后设定不需要索引的文件夹,并根据数据冷热建立多个数据库?

    > 我很好奇为啥 linux 下林林总总这么多文件系统,就没人设计一个能快速索引文件的,就很怪(
    因为这个需求太小众了?其实现在有了 fanotify ,理论上也可以实现和 everything 类似的实时索引的工具,但是并没有人去做……
    ellermister
        18
    ellermister  
       Aug 23, 2022
    @lialosiu
    我也希望知道 linux 代替 every thiny 的软件,搜文件太痛苦了,现在只能用目录区分,自己一个一个找。
    或者用网盘程序挂 WEBDAV ,存储之后在软件 /数据库里面差。没有找到更好的方案。
    Overfill3641
        19
    Overfill3641  
       Aug 23, 2022
    Everything 确实很厉害,尤其文件列表可以把离线硬盘所有文件都弄好直接搜索。
    About     Help     Advertise     Blog     API     FAQ     Solana     3198 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 52ms UTC 13:46 PVG 21:46 LAX 06:46 JFK 09:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86