Когда ваш рабочий стол зависает, запишите точное время.
Подождите, пока рабочий стол не разморозит или ssh в машину, а затем просмотрите /var/log/syslog за время, когда вы записали его замерзание.
В моем случае журналы имели NOUVEAU строки во время замораживания, я заменил драйвер отображения Nouveau бинарным драйвером NVIDIA и разрешил прерывистые зависания.
Это функция Skype, вы можете отключить ее на вкладке звуковых устройств на панели настроек Skype.