Команда uniq удаляет повторяющиеся строки в файле. Команда uniq читает либо стандартный ввод, либо файл, указанный параметром InFile

Команда uniq удаляет повторяющиеся строки в файле. Команда uniq читает либо стандартный ввод, либо файл, указанный параметром InFile. Команда сначала сравнивает соседние строки, а затем удаляет второе и последующее дублирование строки. Дублированные строки должны быть смежными. (Перед выполнением команды uniq используйте команду sort, чтобы сделать все дубликаты смежными.) Наконец, команда uniq записывает результирующие уникальные строки либо в стандартный вывод, либо в файл, указанный параметром OutFile. Параметры InFile и OutFile должны указывать разные файлы.

Источник: IBM