У меня была аналогичная ситуация.
Кажется, что как только Ubuntu начнет использовать swap, он не освободит RAM легко даже после завершения операции.
Я нашел решение запустив две команды после завершения операции с интенсивной памятью. То есть: sudo swapoff -a, а затем sudo swapon -a. Это отключает своп, в течение которого что-либо в swap переносится в ОЗУ и снова включает его.
Я предлагаю вам попытаться сделать восстановление постепенно, если это возможно. Дайте более подробную информацию в своем вопросе для конкретной помощи.