Поиск дубликатов имен файлов в иерархии папок?

Сохраните это в файле с именем duplicates.py

Затем сделайте исполняемый файл:

Запустите, например. например:

Он должен выводить пары файлов, имеющих одинаковое базовое имя (1). Написанный на python, вы сможете изменить его.

Как говорится в комментарии, это также найдет папки. Вот команда ограничить его файлами:

Я предполагаю, что вам нужно только увидеть эти «дубликаты», а затем обработать их вручную. Если это так, этот код bash4 должен делать то, что вы хотите, я думаю.

См. Http://mywiki.wooledge.org/BashGuide/Arrays#Associative_Arrays и / или руководство bash для получения справки по синтаксис ассоциативного массива.

Это bname:

Сделайте его исполняемым:

Вызовите его:

Pro:

Con:

Сохраните это в файле с именем duplicates.py

Затем сделайте исполняемый файл:

Запустите, например. например:

Он должен выводить пары файлов, имеющих одинаковое базовое имя (1). Написанный на python, вы сможете изменить его.

Как говорится в комментарии, это также найдет папки. Вот команда ограничить его файлами:

Я предполагаю, что вам нужно только увидеть эти «дубликаты», а затем обработать их вручную. Если это так, этот код bash4 должен делать то, что вы хотите, я думаю.

См. Http://mywiki.wooledge.org/BashGuide/Arrays#Associative_Arrays и / или руководство bash для получения справки по синтаксис ассоциативного массива.

Это bname:

Сделайте его исполняемым:

Вызовите его:

Pro:

Con:

Сохраните это в файле с именем duplicates.py

Затем сделайте исполняемый файл:

Запустите, например. например:

Он должен выводить пары файлов, имеющих одинаковое базовое имя (1). Написанный на python, вы сможете изменить его.

в качестве комментария государства, это позволит найти папки, а также. Вот это команда, чтобы ограничить его файлы:

Я предполагаю, что вам нужно только увидеть эти «дубликаты», а затем обработать их вручную. Если это так, этот код bash4 должен делать то, что вы хотите, я думаю.

См. Http://mywiki.wooledge.org/BashGuide/Arrays#Associative_Arrays и / или руководство bash для получения справки по синтаксис ассоциативного массива.

это имя:

сделайте его исполняемым:

ссылаться на это:

плюсы:

минусы:

Сохраните это в файле с именем duplicates.py

  #! / usr / bin / env python # Синтаксис: duplicates.py Импорт каталога os, sys top  = sys.argv [1] d = {} для root, dirs, файлов в os.walk (top, topdown = False): для имени в файлах: fn = os.path.join (root, name) basename, extension =  os.path.splitext (name) basename = basename.lower () # игнорировать регистр, если basename в d: print (d [basename]) print (fn) else: d [basename] = fn  

Затем сделайте исполняемый файл:

  chmod + x duplicates.py  

Запустите, например, например:

  ./ duplicates.py ~ / images  

Он должен выводить пары файлов, имеющих одинаковое базовое имя (1). Написанный на python, вы сможете изменить его.

  find.  -mindepth 1 -printf '% h% f \n' |  sort -t '' -k 2,2 |  uniq -f 1 - all-repeat = отдельный |  tr '' '/'  

Как говорится в комментарии, это также найдет папки. Вот команда ограничить его файлами:

  find.  -mindepth 1-type f -printf '% p% f \n' |  ...  

Я предполагаю, что вам нужно только увидеть эти «дубликаты», а затем обработать их вручную. Если это так, этот код bash4 должен делать то, что вы хотите, я думаю.

  declare -A array = () dupes = (), в то время как IFS = read -r -d '' file;  do base = $ {file ## * /} base = $ {base%. *}, если [[$ {array [$ base]}]];  затем dupes [$ base] + = "$ file" else array [$ base] = $ file fi done & lt;  & lt; (find / the / dir -type f -print0) для ключа в "$ {! dupes [@]}";  do echo "$ key: $ {array [$ key]} $ {dupes [$ key]}" done  

См. http://mywiki.wooledge.org/BashGuide / Arrays # Associative_Arrays и / или справочник bash для справки по синтаксису ассоциативного массива.

Это bname:

  #! / bin / bash # # find for jpg / png / gif больше файлов одного и того же basename # # echo "processing ($ 1) $ 2" bname = $  (basename "$ 1". $ 2) find -name "$ bname.jpg" -or -name "$ bname.png"  

Сделать его исполняемым:

  chmod a + x bname  

Вызвать это:

  для ext в jpg png jpeg gif tiff;  do find -name "*. $ ext" -exec ./bname "{}" $ ext ";"  ;   

Pro:

• Прост и прост, поэтому расширяемый.
• Обрабатывает пробелы, вкладки, строки и файлы в именах файлов, насколько мне известно.

Con:

• Он всегда находит файл сам, и если он найдет a.gif для a.jpg, он найдет a.jpg для a.gif тоже. Таким образом, для 10 файлов одного и того же базового имени в конце концов найдено 100 совпадений.

Это bname:

  #! / bin / bash # # find for jpg / png / gif больше файлов одного и того же basename # # echo "processing ($ 1) $ 2" bname = $  (basename "$ 1". $ 2) find -name "$ bname.jpg" -or -name "$ bname.png"  

Сделать его исполняемым:

  chmod a + x bname  

Вызвать это:

  для ext в jpg png jpeg gif tiff;  do find -name "*. $ ext" -exec ./bname "{}" $ ext ";"  ;   

Pro:

• Прост и прост, поэтому расширяемый.
• Обрабатывает пробелы, вкладки, строки и файлы в именах файлов, насколько мне известно.

Con:

• Он всегда находит файл сам, и если он найдет a.gif для a.jpg, он найдет a.jpg для a.gif тоже. Таким образом, для 10 файлов одного и того же базового имени в конце концов найдено 100 совпадений.

  find.  -mindepth 1 -printf '% h% f \n' |  sort -t '' -k 2,2 |  uniq -f 1 - all-repeat = отдельный |  tr '' '/'  

Как говорится в комментарии, это также найдет папки. Вот команда ограничить его файлами:

  find.  -mindepth 1-type f -printf '% p% f \n' |  ...  

Я предполагаю, что вам нужно только увидеть эти «дубликаты», а затем обработать их вручную. Если это так, этот код bash4 должен делать то, что вы хотите, я думаю.

  declare -A array = () dupes = (), в то время как IFS = read -r -d '' file;  do base = $ {file ## * /} base = $ {base%. *}, если [[$ {array [$ base]}]];  затем dupes [$ base] + = "$ file" else array [$ base] = $ file fi done & lt;  & lt; (find / the / dir -type f -print0) для ключа в "$ {! dupes [@]}";  do echo "$ key: $ {array [$ key]} $ {dupes [$ key]}" done  

См. http://mywiki.wooledge.org/BashGuide / Arrays # Associative_Arrays и / или справочник bash для справки по синтаксису ассоциативного массива.

Сохраните это в файле с именем duplicates.py

  #! / usr / bin / env python # Синтаксис: duplicates.py Импорт каталога os, sys top  = sys.argv [1] d = {} для root, dirs, файлов в os.walk (top, topdown = False): для имени в файлах: fn = os.path.join (root, name) basename, extension =  os.path.splitext (name) basename = basename.lower () # игнорировать регистр, если basename в d: print (d [basename]) print (fn) else: d [basename] = fn  

Затем сделайте исполняемый файл:

  chmod + x duplicates.py  

Запустите, например, например:

  ./ duplicates.py ~ / images  

Он должен выводить пары файлов, имеющих одинаковое базовое имя (1). Написанный на python, вы сможете изменить его.

Улучшение сценария loevborg для моих нужд (включает в себя сгруппированный вывод, черный список, более чистый вывод во время сканирования).

Использование:

python duplicates.py DIRNAME

duplicates.py

    #!/usr/bin/env python

    # Syntax: duplicates.py DIRECTORY

    import os
    import sys

    top = sys.argv[1]
    d = {}

    file_count = 0

    BLACKLIST = [".DS_Store", ]

    for root, dirs, files in os.walk(top, topdown=False):
        for name in files:
            file_count += 1
            fn = os.path.join(root, name)
            basename, extension = os.path.splitext(name)

            # Enable this if you want to ignore case.
            # basename = basename.lower()

            if basename not in BLACKLIST:
                sys.stdout.write(
                    "Scanning... %s files scanned.  Currently looking at ...%s/\r" %
                    (file_count, root[-50:])
                )

                if basename in d:
                    d[basename].append(fn)
                else:
                    d[basename] = [fn, ]

    print("\nDone scanning. Here are the duplicates found: ")

    for k, v in d.items():
        if len(v) > 1:
            print("%s (%s):" % (k, len(v)))
            for f in v:
                print (f)

duplicates.py

    #!/usr/bin/env python

    # Syntax: duplicates.py DIRECTORY

    import os
    import sys

    top = sys.argv[1]
    d = {}

    file_count = 0

    BLACKLIST = [".DS_Store", ]

    for root, dirs, files in os.walk(top, topdown=False):
        for name in files:
            file_count += 1
            fn = os.path.join(root, name)
            basename, extension = os.path.splitext(name)

            # Enable this if you want to ignore case.
            # basename = basename.lower()

            if basename not in BLACKLIST:
                sys.stdout.write(
                    "Scanning... %s files scanned.  Currently looking at ...%s/\r" %
                    (file_count, root[-50:])
                )

                if basename in d:
                    d[basename].append(fn)
                else:
                    d[basename] = [fn, ]

    print("\nDone scanning. Here are the duplicates found: ")

    for k, v in d.items():
        if len(v) > 1:
            print("%s (%s):" % (k, len(v)))
            for f in v:
                print (f)