百万数量级小文件迁移怎么做?

dd ?

ghost?
或者整个硬盘 dd 过去再 resize 分区,

tar

dd 最快

rsync 应该没问题诶，我现在同步上百万的文件，没啥问题
不过我是从无到有增量同步的，不是一下字有上百万文件

dd 到新硬盘， 再 resize2fs 扩容

partclone 好。

rsync 会碰到什么问题？

先看看你的 5t 硬盘是不是叠瓦。。。

挂着不管放机房拷几天也就拷完了。

@kokutou 是个希捷的移动硬盘
我刚才才想到 需不需要 重新格式化成 ext4 在挂载拷贝
默认的应该是 ntfs

@FenixVu #11
十有八九是叠瓦

@FenixVu #11
建议格式化，ntfs-3g 是基于 fuse 的，性能不是很高，而你这有 3T 数据……、
虽然有公司开源了一个 ntfs 的内核模块，但没有刚需的话还是建议格式化省事儿

机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.

@wtfcworld 不懂就问。。dd 是什么。。。

@Variazioni https://en.wikipedia.org/wiki/Dd_(Unix)

rm -rf .* 最快，哈哈。

dd: Copy and convert (called dd because cc is already in use by C compiler)

@MarkLeeyun 差评

只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
上面很多人回复都是没实践过，瞎扯淡。

@iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧，
而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的，

请问下楼主 cp / mv 哪里不好了

@MarkLeeyun

[sudo] password for root:

@MarkLeeyun

当然是硬盘对拷最快

叠瓦盘拷 3T 小文件可以拷一年……

@X0ray 我预估了下我这边估计 3000w 左右的文件个数 刚开始还好后面就夯死了,考一会歇半天

试试 unison，之前百万级别的文件用这个效率还行

@heguangyu5 谢谢老哥用你推荐的方法 成功了