Это похоже на то, что у вас плохое поведение на диске. Вы проверили выход hdparm, чтобы убедиться, что используете DMA? Простой доступ к диску не должен затормозить систему, если не произойдет что-то еще. Я бы посмотрел на выход dmesg и установил smartmontools, чтобы узнать, не выкидывает ли ваш диск ошибки ATA или если SMART считает, что диск умирает.
И сделайте то, что сказал jnv, проворачивая swappiness; Linux предпочитает по умолчанию обменивать незанятые программы в пользу кэширования данных с жесткого диска и с зашифрованным homedir, в кэше гораздо больше активности на диске (вы можете не использовать шифрование homedir и просто использовать gpg или подобное шифрование вещи, которые вам действительно нравятся). :
)