求 NAS 照片去重方案

如果是文件相同写个脚本跑一下文件的 hash 应该就能找出来了,如果是文件不同比如分辨率不同这种图片找 cv 库看看有没有什么对比算法,视频的话感觉够呛,可以考虑一下视频的特征这些是否相同来匹配一下

把磁盘挂载到 Windows 下面，然后随便找个去重软件跑一下，Duplicate File Finder 之类的

https://github.com/ermig1979/AntiDupl
试试这个？

我前几个月清理重复照片用的 Duplicate Cleaner Pro 5 ，感觉清理规则很丰富，买的授权，网上也有破解版的，别的软件没对比过。

@yfugibr #3 这个 repo 一直在更新，但是完全没发版是为啥，必须自己编译？

楼主的需求很有市场，期待一个靠谱的回复。

群晖 NAS ，自带的存储空间分析器
创建一个报告，潜在的重复文件打勾，指定检索的文件夹，忽略文件名，修改时间，会按照 md5 对比，然后执行报告，就在后台慢慢整理了，整理完就会有一个表格，自己按表格处理吧

我威联通用的 Fdupes
https://www.qnapclub.eu/en/qpkg/418

前几年还有自动分析对比的功能，现在新版本貌似都没了。

我用的绿联的，好像自带了

推荐 dupeguru

自己写一个去重感觉比较靠谱，之前测试过开源的照片方案感觉都不太行，遑论去重组件了

@shunia #5 不太清楚，我用的还是 2020 年的那个版本，也没遇到啥问题

群晖的话有自动去重。楼上有人写了

把目录挂到电脑上用 duplicate cleaner 扫
可以根据相似度对比照片
可以根据一定时间窗口内的视频关键帧对比视频

极空间自带重复文件照片去重

我也有这个需求，NAS 是 OMV 系统的，插个眼，没有合适的我得空自己开发一个。

自己写个脚本跑 hash 一撞就行了呀，以下是代码：

#!/bin/bash

# 指定需要检查的目录路径
dir_path="/path/to/directory"

# 切换到目录
cd $dir_path

# 循环遍历目录下的所有文件
for file1 in *; do

# 如果当前文件不是图片文件，则跳过检查
if ! [[ $(file "$file1") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash1=$(md5sum "$file1" | awk '{ print $1 }')

# 遍历当前文件之后的所有文件，寻找是否存在哈希值相同的图片
for file2 in $(ls $file1 ../*); do

# 如果当前文件不是图片文件或与自身重复，则跳过检查
if [ "$file1" = "$file2" ] || ! [[ $(file "$file2") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash2=$(md5sum "$file2" | awk '{ print $1 }')

# 如果哈希值相同，则判定为重复图片，删除其中一张图片
if [ "$hash1" = "$hash2" ]; then
echo "Duplicate image found: $file1 and $file2. Deleting $file2"
rm -f "$file2"
fi

done

done

echo "老子处理完了."

md5 太粗暴了，好久之前用 python 写过一段算海明距离的图片去重脚本，网上搜搜应该有很多，简单的去重也够用了。

czkawka+脚本?