这是一个创建于 2575 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在选择数据存储的独立服务器，数据大概有 15TB，文件夹有数百万个，有两种选择：
- 服务器多少块硬盘不重要，做 raid0 或者不做 raid，为了备份数据，rsync 时时同步到另外一台服务器上，这样做的话，感觉时时性满足不了需求，况且 rsync 遍历几百万个文件夹效率如何？？我没试过
- 选择偶数块硬盘的独服，这样的话可以做 RAID1 或者 RAID10，即使其中一块盘坏了，也可以热插拔，数据和运营不会受到任何影响，这样做是不是更好？有什么风险和弊端？
上面这两种哪种方式最好？当然两者结合的话是最安全的，就是价钱有点不好看
 | 1 qiyuey 2018-12-14 10:48:31 +08:00 可以考虑一下异地容灾 |
 | 2 coreos 2018-12-14 10:51:09 +08:00 1.异地容灾是很有必要的 2.R1 R10 要么机房有人天天看灯，要么自己做报警，其它你见过在同步的时候另外一块硬盘也挂了么？哈哈哈 |
 | 3 opengps 2018-12-14 10:52:01 +08:00 备份依然需要，raid 仅仅是对于硬盘损坏时候对数据的保障，万一你中毒被勒索加密，你多份硬盘上的文件也就是加密后的了。依然没法还原回滚。 定时快照是针对操作失误类“数据救援”的方案 |
 | 4 huaxing0211 2018-12-14 10:52:41 +08:00 灾备啊！！！！ |
 | 5 mhycy 2018-12-14 10:53:09 +08:00 服务器必须上 RAID，为的是不让磁盘损坏引起业务中断，R1 低配，R5 中配，最优 R6 备份的作用是防止逻辑意外（病毒 /程序 BUG/单比特错误等原因）导致数据不可用 意义不同，建议二者都上 另，rsync + inotify 可以触发式同步，实时性与资源消耗都还行，然而这并不是备份 （病毒 /bug 写入的异常数据会覆盖正常数据） |
 | 6 dot2017 2018-12-14 10:53:51 +08:00 RAID 只是能保证在硬件损坏时数据还能正常读取，以便最小化对业务影响及方便硬件更换，并不是备份的解决方案 |
 | 7 xzc19970719 2018-12-14 10:55:56 +08:00 RAID 是用来备份硬件。。不是数据啊 |
 | 8 lingll 2018-12-14 10:57:31 +08:00 备份是多维度的 1. 预防磁盘损坏, 做 raid, 楼主为什么不用 raid5,6? 然后多加一个热备盘 2. 预防机房天灾人祸, 异地容灾 3. 预防人为误操作,病毒删数据, 定时同步到别的存储 |
 | 9 F281M6Dh8DXpD1g2 2018-12-14 10:57:40 +08:00 两码事 备份是备份，raid 是 raid |
 | 10 exonuclease 2018-12-14 10:58:46 +08:00 via iPhone 没用 删库两个一起删 |
 | 11 CallMeReznov 2018-12-14 11:00:56 +08:00  2 看了标题,当年我也是那么像的,直到有一次阵列卡爆炸,阵列降级,然后向拉稀一样往我硬盘里提交根本不正确的数据. 类似的情况可以看 linus 他那自信的全 SSD R0 数据恢复实录,惊心动魄啊! |
 | 12 boris1993 2018-12-14 11:08:04 +08:00 via Android 不需要备份？老哥你胆大 推荐去看看#11 说的那个视频，给你压压惊 |
 | 13 xiaolanglang 2018-12-14 11:11:11 +08:00 raid 是高可用方案，不是备份方案，两者应当同时进行………… 备份得有，raid 也得有。 没有 raid，一旦硬盘出问题服务直接不可用了。 没有备份，数据有丢失风险…… |
 | 14 likuku 2018-12-14 11:20:15 +08:00 存储不是备份！存储不是备份！存储不是备份！ 重要的事情说 N 遍都不嫌多！ "备份设备应该比对线上生产设备更高的要求和重视，因为灾难发生，很可能备份就是你唯一的救命稻草" 即便你用上千万一套的 NetApp 存储也会遇到磁盘坏掉的状况（我遇到过）， 更别说只是普通廉价的 RAID1 了（普通常见 RAID 只能保证底层 I/O 正确，才不管你存取的信息是否正确)。 可靠，经受定期备份恢复演习 的备份 才能称之为 “有效备份”， 君不见 最近两年 有国际大厂 分别有因为备份无效(Gitlib 事故) 和 有效备份 (Github 最近的事故) 事故时的不同嘛？！ |
| 15 CallMeReznov 2018-12-14 11:22:09 +08:00 @likuku 远的 GOOGLE 音乐出过一次比较大的事物,是业务 BUG 导致,最近的话就是腾讯云 |
 | 16 annielong 2018-12-14 11:24:01 +08:00 一定是要有效备份，曾经遇到过，以为天天备份没问题，结果发现有问题恢复数据的时候发现备份是错误的，无法恢复 |
 | 17 mchong 2018-12-14 11:33:00 +08:00 1 如果你遇到过 raid1 两块盘同时坏的情况就不会这么做了。而且大容量的硬盘在阵列同步过程中有很大几率损坏。我们公司的服务器 5*600G raid6，外加一块热备。上次坏了一块盘，更换后重建，重建过程中又坏了一块。再换。再次重建过程中又坏了一块。真是个悲伤的故事。。 |
| 18 likuku 2018-12-14 11:33:32 +08:00 另外： “服务器多少块硬盘不重要，做 raid0 或者不做 raid，为了备份数据，rsync 时时同步到另外一台服务器上，这样做的话，感觉时时性满足不了需求，况且 rsync 遍历几百万个文件夹效率如何？？我没试过” # 你知道有种技术叫 快照 嘛？公有云端弹性存储基本都有这功能 。 高级的 FS (ZFS,Btrfs)有 snapshot 功能，生成 snapshot 指令瞬间执行完毕，就是瞬间凝固成一个独立平行宇宙， 之后就可以（异步 /后台）把 snapshot 发送到备份存储（至少 ZFS 可以，当然是差异化发送，并可压缩传输) 或者（异步 /后台)原始点让备份程序 /rsync 把 snapshot 版本的 FS 同步到你备份存储上 存储 和 应用 分离是更好作法，早年我们传统作法是： 多个应用服务器 /web 通过 NFS 去存取 专用的 存储服务器 or NetApp 这种专业存储设备(原生有 NFS,iSCSI 服务), 存储服务器自己有快照 /透明压缩 /重复数据删除 等功能。 最后，几百万文件夹又能怎样？ rsync 也就初次会因为全部文件传输一遍会慢，再之后都是超高效差异化比对传输。 |
| 19 likuku 2018-12-14 11:38:41 +08:00 @CallMeReznov 想起秋天也在 twitter 上讨论数据备份策略，提到有钱 /必须时，还得作 跨洋备份， 甚至希望能在 太空 /月球 /火星 上建立备份数据中心，结果有某国际一线大厂推油立即回复，说他们一直是有跨大洋备份。（星际备份？暂时是个梦） 想想能记得的最近一些新闻：强烈地震大规模海啸，核灾，大范围山林大火，跨洋备份必要，尤其是全球性企业。 |
| 20 likuku 2018-12-14 11:46:50 +08:00 "就是价钱有点不好看"... LZ 记得你们是作商业图片业务的，想想你们的生意命脉核心：图片存储的可靠性 要是数据丢了，卖什么去？还做什么生意？ |
 | 21 momocraft 2018-12-14 11:47:45 +08:00 raid1 才两块（而且数据不统一时不知道哪个是错的），重要数据不能赌这个概率。 #16 的补充：现在 btrfs 也有快照的 incremental send/receive 了。 可能 btrfs 还需要更多时间检验，不过快照真的爽... 我的开发机已经全用上 btrfs + btrbk 了。 |
 | 22 AntonChen 2018-12-14 11:53:27 +08:00 重要数据考虑「 3-2-1 原则」 |
 | 23 powergx 2018-12-14 11:59:03 +08:00 R1 是保证你业务系统不会因为磁盘故障中止， 备份是真正的备份 |
 | 24 Hardrain 2018-12-14 11:59:25 +08:00 via Android 2 曾在 Twitter 上看过一 tweet，推主的 NAS 是使用 4 块盘 raid5 结果某天被家里的猫尿了一泡，硬盘全挂。 "异地容灾" |
| 25 likuku 2018-12-14 12:14:52 +08:00 1 @momocraft #21 btrfs (bugfs) 多次踩坑，最近仅有一次使用经验稍微改观，然而它在我心中的阴影还得持续很久。 我自己之前先后组的两台备份用存储服务器也都是用 freebsd + zfs (snapshot + 透明压缩) |
 | 26 diggerdu 2018-12-14 12:21:01 +08:00 @CallMeReznov 请问这个视频哪里可以找到呢 可以给个关键字吗 |
 | 27 loading 2018-12-14 12:33:21 +08:00 via Android 整个机房被烧毁，那个图我就不发了。 |
 | 29 choury 2018-12-14 12:54:35 +08:00 via Android @likuku 是的，一次异常断电，用了所有恢复手段都没救回数据，网上查资料，又少又旧，用的人少也很少别人经验可以借鉴 |
 | 30 wemore 2018-12-14 12:57:48 +08:00 via iPhone 其实最重要的是别立 flag |
 | 31 msg7086 2018-12-14 13:15:59 +08:00 这么点方案也能叫安全…… 两句话。 1. 冗余不是备份。 2. 备份遵循 3-2-1 守则。 不听的话等着数据全毁。 |
| 34 mhycy 2018-12-14 14:03:18 +08:00 |
 | 35 scofieldpeng 2018-12-14 14:03:46 +08:00 我家里的集群这样玩的： 1. 硬盘 raid1 2. 每次全量备份一次，保存近 30 天的全量快照 3. 每天备份后给腾讯云，阿里云，google drive 归档存储一份 当然，我的数据比你量小很多个量级 |
| 36 likuku 2018-12-14 14:07:16 +08:00 吃完饭，看到前同事在某群里上午发了几条，现公司某小业务系统被黑，数据被加密，被勒索比特币， 当然没好意思再问(补刀)“备份呢？”。 |
 | 37 skschema 2018-12-14 14:07:21 +08:00 异地，异步，冷热多媒介。有方案更要执行好。 |
 | 38 JoeoooLAI 2018-12-14 14:15:55 +08:00 我试过 raid5 差点挂。。。 还是做 比较稳妥吧 |
 | 39 y1shan 2018-12-14 14:19:43 +08:00 123,1 个异地，2 种介质，3 个备份。 |
 | 40 CoderGeek 2018-12-14 14:30:18 +08:00 这问题问得...显然不是的 |
 | 41 Schalkiii 2018-12-14 14:32:37 +08:00 说了多少次了。冗余不等于备份。重要数据，三盘两地 |
| 42 msg7086 2018-12-14 14:41:26 +08:00 |
 | 43 3s6i2o 2018-12-14 14:54:04 +08:00 过来人表示 盘柜里的文件系统挂了 然后没然后了。。。等着数据恢复中心恢复。。。 |
| 45 CallMeReznov 2018-12-14 15:16:53 +08:00 @diggerdu 逼站 av3576332 |
 | 46 kernel 2018-12-14 16:04:44 +08:00 linode 之类的也是 raid，因硬件故障我丢过数据 |
 | 47 alvin666 2018-12-14 16:08:20 +08:00 via Android 1 楼上推荐 r5 的不是坏就是傻... 重建失败了解一下，对于大容量盘，重建失败概率还挺大的 https://www.zhihu.com/question/20164654/answer/348274179 重要数据必须 321，三份备份，两种方式，一处异地容灾 |
 | 48 ThinkZ 2018-12-14 18:30:40 +08:00 via iPhone raid5 损坏时的首先要做的是备份数据 然后再重建 千万不要反过来 |
| 50 diggerdu 2018-12-14 21:18:32 +08:00 via iPhone @CallMeReznov 是加拿大的 linus 啊..... |
 | 51 skylancer 2018-12-14 22:49:05 +08:00 那我介绍一下 1024 整个机房烧掉了的故事给露珠听听？ |
 | 52 flynaj 2018-12-14 22:52:26 +08:00 via Android 重要数据异地备份，全球大的数据中心留个备份 |
 | 53 xxgirl2 2018-12-15 02:36:35 +08:00 如果系统出 bug 那些东西一起 GG。今天不花小钱买备份设备，明天花大钱也未必救回业务。 |
Select Language