大佬们, 30TB 文件数据。有很多子目录,迁移请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
iamtuzi3333
V2EX    问与答

大佬们, 30TB 文件数据。有很多子目录,迁移请教

  •  
  •   iamtuzi3333 235 天前 2195 次点击
    这是一个创建于 235 天前的主题,其中的信息可能已经有所发展或是发生改变。
    小弟需要把华为云服务器 30TB 的文件数据都迁移到本地磁盘,用 2 个 16TB 的磁盘,如何把这个数据最快迁移下来,华为云服务器是 Windows Server ,数据文件很多,有三层子目录,按日期生成的数据文件,去年到今年的,非常多,有什么好办法能快速把数据拷贝到磁盘中。
    第 1 条附言    235 天前
    17 条回复    2025-02-24 11:25:10 +08:00
    ipfox
        1
    ipfox  
       235 天前
    syncthing 试试?
    只发送
    只接收
    IsA26hN4DcQDS7Z9
        2
    IsA26hN4DcQDS7Z9  
       235 天前
    两个 16tb 硬盘空间小于 30tb
    iamtuzi3333
        3
    iamtuzi3333  
    OP
       235 天前
    @ipfox 我搜索看看,目前查的是 robocopy 。
    @Raynard 没事,能存多少就存多少,对数据不是完全要求存储完。
    路过的大佬们多多指点一下,都是 Windows ,就是想把数据文件备份下来。
    opticalproperti
        4
    opticalproperti  
       235 天前
    刚刚处理完火山云两个服务器之间的数据迁移,用的是 tosutil 转移到 oss 挂载然后 cp 过去,纯内网很快
    以前也有类似需要下载到本地的需求,是联系客服邮寄硬盘的方式
    cpstar
        5
    cpstar  
       235 天前
    既然是 windows ,是不是可以直接搞 diskgenius 的盘对盘扇区拷贝,省的重建分区表,让磁头反复在分区表和数据区里挪移。
    iamtuzi3333
        6
    iamtuzi3333  
    OP
       235 天前
    @opticalproperti 华为云的 oss 非常昂贵,还需要付流量费,我现在就是想直接把数据拷贝到本地磁盘,然后把服务器的上数据清理一下
    iamtuzi3333
        7
    iamtuzi3333  
    OP
       235 天前
    @cpstar 一个是云服务器,一个是在我本地机器插的硬盘,想把数据拷进硬盘哦,这样能行吗
    opticalproperti
        8
    opticalproperti  
       235 天前
    @iamtuzi3333 有没有可能,oss 内网传输都是免费的呢,只需要给存储费用,并且 oss 存储费用应该比你的服务器挂载便宜吧,并且你如果只是拷贝,拷贝完了就删除桶,费用应该不是特别高
    iamtuzi3333
        9
    iamtuzi3333  
    OP
       235 天前
    @opticalproperti 我发个工单问问华为云,之前有说过要钱,挂载花钱没事,不是我们出钱,但是把数据拉下来要自己花钱就不值得了,哈哈哈
    ETiV
        10
    ETiV  
       235 天前 via iPhone
    最快的办法当然是来回邮寄硬盘…


    1. 文件特别多的话,最好先 tar (别压缩)打包一下,每月一个包;或者你想省时间、并且计划中以后未必还用得到这些文件就压缩一下,如果碰到压缩率很高的情况,能省不少传输时间和流量费用
    2. 你准备拿什么协议拷
    3. 走网络的话,你带宽多少
    4. 还需要考虑断点续传

    走网络的话可以试试 rclone ,能并发、支持的协议多、还能断点续传
    back0893
        11
    back0893  
       235 天前
    寄硬盘 这个最快 不要小瞧高速公路上的硬盘的带宽
    cpstar
        12
    cpstar  
       235 天前
    OP 7# 哦,忘了这个因素了。你看看服务器上有没有腾挪空间,如果没有,可以考虑临时动态增加容量,然后把文件打包之后,往回拽。否则按文件往回拽,太费劲了。

    至于寄硬盘,我倒要看看云服务商怎么把云服务器的硬盘寄给用户。
    iamtuzi3333
        13
    iamtuzi3333  
    OP
       235 天前
    @back0893 华为的云服务器也能邮寄吗,这个我得问问那边的工单了。
    @ETiV 云服务器邮寄应该不方便把,现在数据文件已经给 rar 压缩一次了,协议搜了一个 ROBOCOPY ,能可以断点续传,直接走网络,带宽在 30MB 左右。
    @cpstar 是的,我也在想,云服务器厂家怎么把这个数据能拷贝到我的硬盘,然后寄送给我。现在这个空间很小了,只剩下 200G 左右了。
    Loyle5
        14
    Loyle5  
       235 天前
    如果走网络的话最大速度是云服务器的上传速度和你本地下载速度两者的最小值,能接受这个再决定用啥方案吧,前提是非流量计费
    stiangao
        15
    stiangao  
       235 天前
    这么大的数据量确实应该走离线,阿里云有这服务的,内网转存到 NAS 里然后邮寄,数据转走你再寄回去。
    我们当初也是 10T 的数据视频数据
    iamtuzi3333
        16
    iamtuzi3333  
    OP
       232 天前
    @stiangao 是的,但是华为云不知道有没有,我先提交个工单问问情况。
    @Loyle5 那这样算下来速度也是很慢
    iamtuzi3333
        17
    iamtuzi3333  
    OP
       232 天前
    华为云竟然没有,提了工单说只能通过下载,带宽只有 30M ,这三十 T 下载到猴年马月啊,我真醉了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     968 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 22:24 PVG 06:24 LAX 15:24 JFK 18:24
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86