如何删除重复的图片! - V2EX
iyg429

如何删除重复的图片!

  •  
  •   iyg429 Jan 30, 2022 4958 views
    This topic created in 1571 days ago, the information mentioned may be changed or developed.
    不知不觉已经存了有 6TB 的照片了
    ,硬盘里的照片应该有一部分是重复的
    有没有什么软件可以检测到重复的照片 让我筛选,
    这样硬盘就可以存了
    一张一张看太浪费时间了
    之前写入硬盘的时候,也没有懂得分配 就是全部的照片都放到一个文件夹的
    28 replies    2022-02-07 15:46:54 +08:00
    cnrting
        1
    cnrting  
       Jan 30, 2022 via iPhone
    ccleaner
    atrexl
        2
    atrexl  
       Jan 30, 2022 via Android
    为什么重复照片文件名竟然不一样
    iyg429
        3
    iyg429  
    OP
       Jan 30, 2022
    @atrexl #2 因为老硬盘汇总到一个新硬盘的 ,当时本着就算重复也不能拷贝少的缘故 导致现在硬盘里有相当一部分应该是重复的 但是文件名应该是被我改掉了
    iyg429
        4
    iyg429  
    OP
       Jan 30, 2022   1
    @cnrting #1 这玩意不是清理电脑的吗
    jasonyang9
        5
    jasonyang9  
       Jan 30, 2022
    https://dupeguru.voltaicideas.net/
    开源跨平台的,用过还行。但你这么多图谱扫描一次也够呛,哈哈。
    jasonyang9
        6
    jasonyang9  
       Jan 30, 2022
    @jasonyang9 s/图谱 /图片
    cnrting
        7
    cnrting  
       Jan 30, 2022 via iPhone
    @iyg429 有重复文件清理功能
    dji38838c
        8
    dji38838c  
       Jan 30, 2022
    自己写一个好了,很快
    重复的图片字节数应该是完全一样的
    hello2090
        9
    hello2090  
       Jan 30, 2022
    楼主你找不到的话可以留个邮箱,我有个自己写的 python 脚本可以发给你,查找 /删除两个文件夹中的重复文件的
    dianso
        10
    dianso  
       Jan 30, 2022   1
    Glauben
        11
    Glauben  
       Jan 30, 2022 1
    相同文件只是文件名不同的情况下,可以比对一下文件 hash ,找出重复的。自己写吧。我一开始还以为是用 AI 找出相似度高的删除
    TigerK
        12
    TigerK  
       Jan 30, 2022   1
    重复文件使用 DoubleKiller 删除,可以设定文件大小、hash 值相同。
    重复图片、相似图片使用 DuplicateFinder 删除,可以找到一定相似度的图片,一般是不同分辨率下的,或者是组图。
    virlaser
        13
    virlaser  
       Jan 30, 2022   1
    用过不知道从哪儿下载的破解版 Duplicate Cleaner Pro ,可以根据图片相似度来查找,扫描速度也蛮快的
    https://imgur.com/a/3iuU7aR
    yfugibr
        14
    yfugibr  
       Jan 30, 2022 via Android   1
    antidupl ,可以查找相似照片,标记不同之处
    iyg429
        15
    iyg429  
    OP
       Jan 30, 2022
    @hello2090 #9 邮箱:aXlnNDI5QDE2My5jb20= 非常感谢)
    villivateur
        16
    villivateur  
       Jan 30, 2022 via Android   1
    有个专门做这种事情的软件,Duplicate cleaner
    imn1
        17
    imn1  
       Jan 30, 2022   2
    我还以为你要找“相似图片”,这是个大难题,我程序写了几年,这块功能至今还没满意
    我 50+TB 找相似那才叫一个头痛

    根据你 #3 的描述,这种情况只是文件多重拷贝,hash/bytes 都相同的,很多工具可以做
    windows 有个软件叫 clonespy ,速度比较快,可以检查同时自动删除,你指定某个目录作为参照(不删除),哪个作为查找删除就可以了
    NAS 的话我不晓得,linux 下面也有不少类似工具
    imn1
        18
    imn1  
       Jan 30, 2022   1
    PS: 找相似图片的工具我用过二十多个,个人觉得最强是 SimilarImages 2004-2012 by Nils Maier
    这货是用 image hash 比较的,可以保存 hash 值到自带的数据库(sqlite),然后离线检查,就是不用挂载着参照目录去逐一比较,对于图片分散在多个硬盘的人很好用,可惜好像已经停更多年

    我现在是用 opencv 的 template match 自写程序(还在不断修改)
    Issacx
        19
    Issacx  
       Jan 30, 2022   1
    我用过一个 python 库,有 hash 和 CNN 的几种实现,其中 CNN 是基于 MobileNet 做的,可以检测相似但不完全相同的照片。我自己写了几个脚本调用,效果还不错。

    Github: https://github.com/idealo/imagededup
    hanguofu
        20
    hanguofu  
       Jan 31, 2022
    好奇问问:这种软件为什么不是使用 c/c++ 效率最高吗 ?
    Drumming
        21
    Drumming  
       Jan 31, 2022   1
    我是上传到网盘...
    然后网盘自带图片近识度删除功能= =
    之前还用过这个软件 ,也还行
    https://www.billfish.cn/
    jin7
        22
    jin7  
       Jan 31, 2022   1
    double killer pro
    mikewang
        23
    mikewang  
       Jan 31, 2022   1
    如果只是文件名不同,内容完全一致的话,使用 fdupes 命令。
    https://www.unix.com/man-page/debian/1/fdupes/
    7Qi7Qi /td>
        24
    7Qi7Qi  
       Jan 31, 2022
    Duplicate cleaner + 1
    sutra
        25
    sutra  
       Jan 31, 2022
    换个支持 deduplication 的文件系统,比如 zfs 。
    brucmao
        26
    brucmao  
       Feb 2, 2022
    Myprajna
        27
    Myprajna  
       Feb 3, 2022
    新雨重复照片查找器,这个最好。在 10 几个里面
    Colinv
        28
    Colinv  
       Feb 7, 2022
    刚好在前段时间同样面临这个问题,在尝试了一圈网络上提供的解决方案之后,目前发现最优的方案是 [lightroom] +插件 [Teekesselchen] (免费),通过自定义筛选 rules ,可以比较全面而准确地识别出重复图片,特别是经过不同命名的两张重复图片。
    About     Help     Advertise     Blog     API     FAQ     Solana     3014 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 72ms UTC 12:31 PVG 20:31 LAX 05:31 JFK 08:31
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86