Предполагая, что ваша оболочка bash имеет значение extglob shopt, включенное здесь, вот несколько более консервативная альтернатива:
rm !($(tr \\n \| < keep.txt))
(... сопутствующее замечательное предложение gardhead в противном случае! )