各位是如何管理海量文件的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
haohaolee
V2EX    问与答

各位是如何管理海量文件的

  •  
  •   haohaolee 2011-11-23 21:09:43 +08:00 7651 次点击
    这是一个创建于 5118 天前的主题,其中的信息可能已经有所发展或是发生改变。
    很多人有下载癖的人都有自己的NAS或者别的类似的。一开始我还乐意整理文件,包括分类,建目录,更改文件名,时间一长文件一多就懒了。现在的问题是,东西太多了,包括文档,音乐,视频,有时会碰到东西找不到了,或者重复下载的情况。

    理想的情况是某种搜索引擎,可以自动索引文件,对于常见的格式还能索引内容信息,可以tag。我记得很久以前google desktop是很接近这个需求的,可惜烂尾了。可能已经有成熟的解决方案了,但我对这块不太了解。

    各位是如何管理文件的?
    19 条回复    1970-01-01 08:00:00 +08:00
    caomu
        1
    caomu  
       2011-11-23 21:17:43 +08:00
    Everything
    caomu
        2
    caomu  
       2011-11-23 21:19:19 +08:00
    可惜我在 Linux 下还找不到能代替 Everything 的,只能暂时用着不再更新的 Google Desktop 。LZ可以多逛逛善用佳软,里面介绍了很多电脑管理的工具。
    haohaolee
        3
    haohaolee  
    OP
       2011-11-23 21:19:33 +08:00
    @caomu 非windows呢
    haohaolee
        4
    haohaolee  
    OP
       2011-11-23 21:22:06 +08:00
    印象中 Everything 只是搜的快,不会建索引的
    fly2never
        5
    fly2never  
       2011-11-23 21:23:15 +08:00
    @haohaolee 索引读取的是NTFS自带的MFT,不用自己建.很奇怪微软为啥自己不利用,反而去做一个windows search另外建一套索引
    lentrody
        6
    lentrody  
       2011-11-23 21:49:00 +08:00
    还停留在分类建目录程度的路过……
    xell
        7
    xell  
       2011-11-23 23:54:39 +08:00   1
    整理癖路过……

    我对这件事情的体会就是,对于不同的软件,找对软件就好。

    图片的话,Picasa和许多软件都可以用来筛选重复图片。我用Picasa管理50G+的图片没什么压力,还有非常方便高效的tag和annotation机制。Picasa额外提供了一种虚拟管理方式(称为Collection),不同于文件夹,因此可以在文件夹体系之外再行分类。

    音乐的话,Win 下的 Foobar2000 和 Mac 下的 iTunes 都很不错,管理100G+的音乐完全不成问题,可以任意搜索/过滤/筛选/标记(iTunes至今不支持自定义tag,让人有些头疼,但可以用其他方式)。iTunes 自带的整理功能甚至免去了手动建立文件夹体系之苦。两个平台都可以实现监视文件夹功能,这意味着无论什么音乐,统一放到一个目录之中即可,然后可以用软件来管理。

    我没遇到过视频的管理问题,现在下载的电影文件名标记都非常良好,再说了,1080G的片子也存不了几部(顶多100这个量级),相对而言,不需要特别对待。

    文档和文件可能需要专门考虑。首先,有专门的编目类软件可以辅助。例如对于文档,可以用任何一款文献软件。其次,Mac 系统可以自定义任何文件的 Spotlight Comments,Lion 系统的 Spotlight 本身已足够强大,再不济还有 EasyFind 之类的第三方软件。Win 下的话,我用 Total Commander,可以直接管理文件注释,还可以实现类似于 Win7 的虚拟的“库(Library)”,再辅以 Everything 这种神软,搞定。

    总而言之,勤快是必须的,多级文件夹这种方式看似古老,也是必要的,再加上各类软件帮忙,“管理海量文件”这个议题在非专业环境的个人电脑这个意义上(个人电脑存储容量顶多10T这个量级吧)还是可以应付得过来的。
    xell
        8
    xell  
       2011-11-23 23:55:42 +08:00
    第二段“对于不同的软件”为“对于不同的数据”之笔误。
    haohaolee
        9
    haohaolee  
    OP
       2011-11-24 00:15:18 +08:00
    @xell 非常感谢,很有启发。可能其中就是对于文档的要求高些,最好能搜索内容。用不同的软件管理不同的文件这个思路不错
    forestchen
        10
    forestchen  
       2011-11-24 00:31:42 +08:00
    一直想找everything在linux下的替代品,它真是在win下killer级应用.
    理论上locate也可以,但是不像everything那样是实时的.
    xell
        11
    xell  
       2011-11-24 00:33:05 +08:00
    @haohaolee 对于常见文档类型(纯文本、办公文档、pdf等),搜索内容应当不成问题吧。Mac 是自带的,相当强大快捷,除了对点目录无能为力之外;Win 下,XP 可用微软自家的 Windows Desktop Search,7 的话也是自带,而且也有第三方软件可用(如 DocFetcher 等)。

    多说一句,找对软件真的很重要。例如可能许多人都不知道,Picasa中输入 iso:400 就能筛选出所有 iso 400 的图片,而 Win 下面 Total Commander 也可以通过插件做到这一点。再例如,在 Foobar2000 下,你可以轻松做到在整个音乐库中搜索符合条件[歌词中有“蓝天” 并且 播放次数小于10次 并且 最近一次听是在两个月以前]的所有歌曲。不同的数据确实需要对应的软件来管理。
    cngithub
        12
    cngithub  
       2011-11-24 00:36:43 +08:00 via iPad
    如何提高创作型任务的效率?


    http://www.yangzhiping.com/psy/flow.html

    http://www.yangzhiping.com/psy/mac.html

    部分软件可能过时了。
    xdata
        13
    xdata  
       2011-11-24 00:50:39 +08:00
    Everything的搜索速度在文件较少的时候还是可以的...
    但是在更高一个数量级的文件索引下已经力不从心了...

    我随意试了一下, 在一台Intel Xeon E5620*2的机器上索引约六百五十万个文件, 简单的单个关键词搜索还勉强能接受, 实时搜索大概有几百毫秒左右的延迟...
    但是多个通配符+路径匹配, 搜索效率就完全无法接受了...可以达到20秒以上的延迟...
    *\PROJECT\*.svn

    而内存才用去了250M左右, 只占总内存的千分之五...完全没办法发挥出机器的性能..
    cyberscorpio
        14
    cyberscorpio  
       2011-11-24 02:29:20 +08:00
    @xdata everything 是民用级软件,您这个这个场景,适合军用软件。。。
    glume
        15
    glume  
       2011-11-24 03:04:05 +08:00
    @xell 感谢经验分享。
    作为一个下载控,我主要的东西就是视频和pdf。
    除了人工整理,实在没什么高效率的办法。
    iwege
        16
    iwege  
       2011-11-24 03:48:09 +08:00
    linux 下面?find?自己写脚本?
    haohaolee
        17
    haohaolee  
    OP
       2011-11-24 12:01:31 +08:00
    @glume pdf还好说。视频的话,除了文件名就是一些meta数据可以利用一下了
    xell
        18
    xell  
       2011-11-24 16:00:55 +08:00   1
    araha
        19
    araha  
       2012-05-03 21:21:19 +08:00
    图片文件管理,推荐使用伊曼基图片管理软件,它可以把图片进行分类管理,建立标签分类,输入备注,快速搜索等,很好用。其中的“图片链接”功能,可以轻松实现图片的虚拟分类,很厉害!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     925 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 21:43 PVG 05:43 LAX 13:43 JFK 16:43
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86