Сравнение нескольких файлов данных

Question 1

У меня есть несколько файлов, содержащих текстовые данные. Мне нужно, чтобы каждый отдельный файл имел только уникальные строки для всех остальных текстовых файлов Например, textfile1 имеет строковую запись с именем «foobar», но так же и textfile15. Каков наилучший способ сравнения уникальности отдельных строк с несколькими файлами?

Question 2

Чтобы найти, уникальны ли все текстовые файлы:

cat *.txt | wc -l ; cat *.txt | sort -u | wc -l

, Если строки соответствуют, они уникальны.

Для нахождения, какие дубликаты присутствуют:

cat *.txt | sort | uniq -d

Вот более полный сценарий: Мне загрузили песни. Когда я загружаю новые песни, я хочу удостовериться, что я не повторяюсь. Таким образом, я сделал бы

find . -name *.txt | sort -u > catalog.music

, Теперь предполагают, что я нахожу плей-лист, который я позже загрузил бы. И этот список воспроизведения находится в downloadNew.txt. Я сделал бы

grep -F -f downloadNew.txt catalog.music

, Если поиск неудачен, downloadNew.txt уникален, еще дубликаты присутствуют.

Amit · Answer 1 · 24 March 2019 в 21:50