Сама виртуальная машина конкурирует за реальное время CPU / приоритет.
Если вы в отчаянии и можете, переверните проблему: установите Ubuntu на голом металле и запустите Windows в VirtualBox.