聊聊备份集管理 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dennyzhang
V2EX    DevOps

聊聊备份集管理

  •  
  •   dennyzhang 2016-09-19 10:43:09 +08:00 5001 次点击
    这是一个创建于 3311 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我们每天做核心数据的备份。接下来需要:
    - 将备份集拷贝到远端,防止本地磁盘挂了
    - 软删除老的备份集,以避磁盘空间被占满 br />
    用 shell 能实现,再想有没有开源的工具可以拿来用,避免写一些漏水的脚本。

    Note: 我知道 S3 有很好的支持。但感觉有点重了,而且会 vendor lock.
    15 条回复    2016-09-20 14:41:58 +08:00
    zhaoace
        1
    zhaoace  
       2016-09-19 14:43:47 +08:00
    Rsync?


    以下摘自 wiki :
    rsync 是 Unix 下的一款应用软件,它能同步更新两处计算机的文件与目录,并适当利用差分编码以减少数据传输。 rsync 中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。 rsync 可拷贝/显示目录内容,以及拷贝文件,并可选择性的压缩以及递归拷贝。

    在常驻模式( daemon mode )下, rsync 默认监听 TCP 端口 873 ,以原生 rsync 传输协议或者通过远程 shell 如 RSH 或者 SSH 伺服文件。 SSH 情况下, rsync 客户端运行程序必须同时在本地和远程机器上安装。

    rsync 是自由软件,以 GNU 通用公共许可证发行。
    zhaoace
        2
    zhaoace  
       2016-09-19 14:46:27 +08:00
    可能是我没抓住重点。

    如果问题是往哪里丢: S3 / 七牛 / 阿里云存储 之类的可以考虑,国外环境的话 box/dropbox 也不是不行 。
    如果有空间,问题是怎么丢,这时候再来看 rsync 。

    嗓(pen)子比脑子快,见谅。。。
    dennyzhang
        3
    dennyzhang  
    OP
       2016-09-19 15:40:37 +08:00
    rsync, scp, 都能解决问题。但是不是要自己来写些 glue scripts?

    有没有什么 CLI 工具或类库,拿来自己改配置,而非 coding ,即可解决问题。
    likuku
        5
    likuku  
       2016-09-19 15:51:43 +08:00
    rsync + zfs + snapshot
    likuku
        6
    likuku  
       2016-09-19 15:53:58 +08:00
    想起来还有 Bacula 开源的备份软件
    likuku
       
    likuku  
       2016-09-19 15:55:59 +08:00
    还有哥们的公司用商业的 梭子鱼 / Barracuda Backup 作备份,其实也很阳春...
    likuku
        8
    likuku  
       2016-09-19 15:57:34 +08:00
    google 搜 "开源 备份 工具" 就至少有半打的工具推荐
    chengxiao
        9
    chengxiao  
       2016-09-19 16:09:51 +08:00
    NAS 组 Raid5-6 ?应该不错,对企业来说成本也不高
    likuku
        10
    likuku  
       2016-09-19 16:14:27 +08:00
    @chengxiao RAID5-6 ,至少也得是纯软件来组,否则 RAID 卡停产后再坏掉了,那数据就完了。

    没有几百万去买高端存储设备,那就 ZFS 组带冗余的 ZFS 存储池吧
    chengxiao
        11
    chengxiao  
       2016-09-19 16:17:53 +08:00
    @likuku 额你这考虑的太高端了.....我也比较推荐软 raid ,买个群晖几盘位看需求,自带 rsync 和各种 cloud sync ,可以同步至像 S3 等各种云服务,具体去群晖官网可以体验下 DSM6.0,看看是否能满足需求。
    chinni
        12
    chinni  
       2016-09-19 17:14:30 +08:00
    我自己 在用 borgbackup

    https://github.com/borgbackup/borg/
    ryd994
        13
    ryd994  
       2016-09-19 17:17:16 +08:00 via Android
    @chengxiao raid 不能代替离线备份
    管理员手贱 /病毒 /软件 bug 破坏数据还少么
    chengxiao
        14
    chengxiao  
       2016-09-19 17:21:22 +08:00
    @ryd994 我的意思是备份机上 raid.....
    likuku
        15
    likuku  
       2016-09-20 14:41:58 +08:00
    @ryd994 所以才推荐 zfs 的 snapshot ,当然看来异地备份也是不可少了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5496 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 36ms UTC 07:34 PVG 15:34 LAX 00:34 JFK 03:34
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86