
hadoop fs -df -h Filesystem Size Used Available Use% hdfs://cluster1 2.7 T 1.2 T 1.3 T 44% hadoop fs -du -s -h /user/hive/warehouse 252.5 G /user/hive/warehouse 为啥 du 和 df 算出来不一样,我 hdfs 只有 warehouse 里几百 G 的东西,绝不会用了 1.2 个 T ; 我经常性的把 hdfs 的某个目录作为临时目录用完就删除了,会不会是这个原因?
1 defunct9 Aug 7, 2017 找找垃圾箱里的东西吧,上次就是垃圾箱未回收导致 hdfs 挂了 |
2 gouchaoer OP |
4 knightdf Aug 7, 2017 du 和 df 本来就不一致 |
5 zdyxry Aug 7, 2017 |
6 Infernalzero Aug 7, 2017 lsof |grep deleted 如果没有文件句柄未被释放的,就说明你磁盘挂载的时候出了问题,检查下对应的挂载 |
7 gouchaoer OP |
8 virusdefender Aug 7, 2017 du 默认不显示隐藏文件的 |
9 cxbig Aug 7, 2017 via iPhone du 只显示文件占用 df 还包括了系统进程占用 比方说某个进程卡死,关联的 log 文件缓存可以吃光硬盘空间。这个时候 du 是找不出来的,用 lsof 可以找到。 |