Бинарный поиск может легко обрабатывать миллионы записей, поэтому поиск в одном каталоге не будет проблемой. Это будет очень быстро.
В принципе, если вы используете 32-битную систему, двоичный поиск до записей 2Gb прост и хорош.
Berekely DB, программное обеспечение с открытым исходным кодом, легко разрешить вам хранить полный результат под одной записью и будет иметь встроенный поиск.