如何确保自己网盘的文件是没有损坏的? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MakeItGreat

如何确保自己网盘的文件是没有损坏的?

  •  
  •   MakeItGreat 2021 年 7 月 29 日 via Android 3002 次点击
    这是一个创建于 1730 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:Dropbox 付费,一万到十万个文件
    如何确保一个文件在很久之后没有损坏或者丢失
    损坏的可能来源:某个软件或者脚本修改了某个文件,物理损坏
    损坏的后果:在 Dropbox 提供的回滚过期之后,文件彻底损坏
    目前的思路?
    1.定时备份,扔到不同 oss 保存一年以及更久
    2.定期对全部文件 hash 计算,进行核对

    虚心请教各位还有没有更好的办法?
    如果这个问题是杞人忧天,也请大家指出
    谢谢各位!
    21 条回复    2021-07-31 16:03:54 +08:00
    delectate
        1
    delectate  
       2021 年 7 月 29 日   1
    文件列表核查+md5 定期抽检+重点文件异地容灾多重备份
    akira
        2
    akira  
       2021 年 7 月 29 日
    你不动他也是有概率损坏的。
    找另外一家存储服务也备份一份 基本上就没问题了
    ynyounuo
        3
    ynyounuo  
       2021 年 7 月 30 日 via iPhone
    买一个远古 Dropbox 付费账号,享受无限文件回滚
    ruixue
        4
    ruixue  
       2021 年 7 月 30 日   1
    愿意牺牲方便性(如在线预览、同步修改)的话,WinRAR 打包并添加恢复记录

    压缩包自带所有文件的 hash,解压时会校验,不一致会报错

    恢复记录使用 Reed-Solomon 纠错码,可以在损坏不严重的情况下重建数据

    https://documentation.help/WinRAR-zh/HELPArcRecovery.htm
    MaverickLee
        5
    MaverickLee  
       2021 年 7 月 30 日
    用 MlutiPar 创建 Par2 恢复档
    Kagari
        6
    Kagari  
       2021 年 7 月 30 日 via Android
    用 rclone 的 hash 校验
    sagaxu
        7
    sagaxu  
       2021 年 7 月 30 日 via Android
    阿里云 OSS 三副本,加上跨区域备份,除非自己误操作,损坏的概率极低
    3dwelcome
        8
    3dwelcome  
       2021 年 7 月 30 日   1
    @ruixue WinRar 加恢复卷打包,是国内特色,早期百度网盘有下载错误搞起来的。

    但是国外的网盘,正常都不存 SSD,都是存大容量机械硬盘,要坏就是一大片资料丢失,很少会存在只损坏个别字节的现象。

    加 hash 完全够了,加 RS 纠错码就是心理安慰。
    matrix67
        9
    matrix67  
       2021 年 7 月 30 日
    备份的时候记录 hash
    存 2 份(或者 3 份)
    SuperMild
        10
    SuperMild  
       2021 年 7 月 30 日
    如果文件不多,定期备份到 OSS 就蛮好的,OSS 有多副本。我自己不信任云服务商,所以自己做本地备份,备份到另一个硬盘,定期校验 hash 。
    745839
        11
    745839  
       2021 年 7 月 30 日
    你们都备份些啥这么多文件
    yinxiangbiji
        12
    yinxiangbiji  
       2021 年 7 月 30 日
    损坏就坏了呗
    efaun
        13
    efaun  
       2021 年 7 月 30 日
    @yinxiangbiji #11 +1,传到网上坏了就坏了,真要保险自己组 RAID
    learningman
        14
    learningman  
       2021 年 7 月 30 日 via Android   1
    @745839 node_modules (不是)
    koor
        15
    koor  
       2021 年 7 月 30 日   1
    几年前传到百度网盘的照片,已经有好几张打不开了
    zxCoder
        16
    zxCoder  
       2021 年 7 月 30 日
    备份
    msg7086
        17
    msg7086  
       2021 年 7 月 30 日
    RAR 5% 恢复记录。
    neteroster
        18
    neteroster  
       2021 年 7 月 30 日
    你方法没啥问题,就是备份 + hash
    Kagari
        19
    Kagari  
       2021 年 7 月 31 日
    重新看了主楼,原来还没到这一步
    但是系统该如何判断这个操作是否为正常操作呢?就像加密勒索软件那样
    lz 可以用额外带增量备份的软件来备份,比如 restic 、duplicati
    然后才会遇到下一个问题:文件在上传的过程中损坏了怎么办
    wanguorui123
        20
    wanguorui123  
       2021 年 7 月 31 日 via iPhone
    定期 HASH
    Ariver
        21
    Ariver  
       2021 年 7 月 31 日 via iPhone
    goodsync ?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5308 人在线   最高记录 6679       elect Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 80ms UTC 07:46 PVG 15:46 LAX 00:46 JFK 03:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86