С помощью PCRE можно выполнить:
grep -Po '\b(\w+)\b.{1,10}\b\1\b'
-P позволяет использовать регулярные выражения в стиле Perl с использованием PCRE. -o печатает только согласованный текст. \b отмечает, что границы раздела слов (\w+) совпадают с символами слова .{1,10}, совпадающими до 10 символов и не менее 1. \1 относится к группе, сопоставленной ранее.