Поиск дубликата файла называет в иерархии папок?

find . -mindepth 1 -printf '%h %f\n' | sort -t ' ' -k 2,2 | uniq -f 1 --all-repeated=separate | tr ' ' '/'

Как комментарий указывает, это найдет папки также. Вот команда для ограничения его файлами:

find . -mindepth 1 -type f -printf '%p %f\n' | sort -t ' ' -k 2,2 | uniq -f 1 --all-repeated=separate | cut -d' ' -f1

Сохраните это в названный файл duplicates.py

#!/usr/bin/env python

# Syntax: duplicates.py DIRECTORY

import os, sys

top = sys.argv[1]
d = {}

for root, dirs, files in os.walk(top, topdown=False):
    for name in files:
        fn = os.path.join(root, name)
        basename, extension = os.path.splitext(name)

        basename = basename.lower() # ignore case

        if basename in d:
            print(d[basename])
            print(fn)
        else:
            d[basename] = fn

Затем сделайте исполняемый файл файла:

chmod +x duplicates.py

Выполненный в, например, как это:

./duplicates.py ~/images

Это должно произвести пар файлов, которые имеют то же базовое имя (1). Записанный в Python, необходимо смочь изменить его.

Я предполагаю, что только необходимо видеть эти "дубликаты", затем обработать их вручную. Если так, этот код bash4 должен сделать то, что Вы хотите, я думаю.

declare -A array=() dupes=()
while IFS= read -r -d '' file; do 
    base=${file##*/} base=${base%.*}
    if [[ ${array[$base]} ]]; then 
        dupes[$base]+=" $file"
    else
        array[$base]=$file
    fi
done < <(find /the/dir -type f -print0)

for key in "${!dupes[@]}"; do 
    echo "$key: ${array[$key]}${dupes[$key]}"
done

См. http://mywiki.wooledge.org/BashGuide/Arrays#Associative_Arrays и/или руководство удара для справки на синтаксисе ассоциативного массива.

Это - bname:

#!/bin/bash
#
#  find for jpg/png/gif more files of same basename 
#
# echo "processing ($1) $2"
bname=$(basename "$1" .$2)
find -name "$bname.jpg" -or -name "$bname.png"

Сделайте это исполняемым файлом:

chmod a+x bname 

Вызовите его:

for ext in jpg png jpeg gif tiff; do find -name "*.$ext" -exec ./bname "{}" $ext ";"  ; done

Pro:

• Это просто и просто, поэтому расширяемо.
• Пробелы дескрипторов, вкладки, разрывы строки и pagefeeds в именах файлов, afaik. (Принимающий такую вещь на дополнительное имя).

Довод "против":

• Это всегда находит сам файл, и если это найдет a.gif для a.jpg, то это найдет a.jpg для a.gif также. Таким образом для 10 файлов того же базового имени, это находит 100 соответствий в конце.

Улучшение сценария loevborg, для моих потребностей (включает сгруппированный вывод, черный список, более чистый вывод при сканировании). Я сканировал диск на 10 ТБ, таким образом, мне был нужен немного более чистый вывод.

Использование:

python duplicates.py DIRNAME

duplicates.py

    #!/usr/bin/env python

    # Syntax: duplicates.py DIRECTORY

    import os
    import sys

    top = sys.argv[1]
    d = {}

    file_count = 0

    BLACKLIST = [".DS_Store", ]

    for root, dirs, files in os.walk(top, topdown=False):
        for name in files:
            file_count += 1
            fn = os.path.join(root, name)
            basename, extension = os.path.splitext(name)

            # Enable this if you want to ignore case.
            # basename = basename.lower()

            if basename not in BLACKLIST:
                sys.stdout.write(
                    "Scanning... %s files scanned.  Currently looking at ...%s/\r" %
                    (file_count, root[-50:])
                )

                if basename in d:
                    d[basename].append(fn)
                else:
                    d[basename] = [fn, ]

    print("\nDone scanning. Here are the duplicates found: ")

    for k, v in d.items():
        if len(v) > 1:
            print("%s (%s):" % (k, len(v)))
            for f in v:
                print (f)