Ее так я решил:
file_with_duplicates:
1,a,c
2,a,d
3,a,e <--duplicate
4,a,t
5,b,k <--duplicate
6,b,l
7,b,s
8,b,j
1,b,l
3,a,d <--duplicate
5,b,l <--duplicate
Файл отсортирован и деблокирован столбцами 1 и 2:
sort -t',' -k1,1 -k2,2 -u file_with_duplicates
Файл отсортированы только по столбцам 1 и 2:
sort -t',' -k1,1 -k2,2 file_with_duplicates
Показать только разницу:
diff <(sort -t',' -k1,1 -k2,2 -u file_with_duplicates) <(sort -t',' -k1,1 -k2,2 file_with_duplicates)
3a4
3,a,d
6a8
5,b,l