На этот вопрос уже есть ответ здесь:
Разрешение экрана Ubundu 640 * 480, а не возможность изменения.
Я установил виртуальную машину в Windows 10
Вы должны установить дополнительного Водителя показа Гостя
, открывают терминал и тип в
sudo apt-get install virtualbox-guest-dkms
и затем перезагрузка.
sudo reboot