Программа findimagedupes должна выполнять то, что вы запрашиваете:
Находит визуально похожие или повторяющиеся изображенияПрограмма представляет собой простую программу perl и может быть запущена из командной строки, но также доступен как программный пакет.