Используйте минимальную конфигурацию X с очень удобным настольным менеджером, таким как Openbox, следующая команда будет устанавливать X-сервер, диспетчер рабочего стола и очень мало других пакетов
sudo apt-get install openbox obconf
, после чего вы можете вызвать рабочего стола с startx и запустите Chrome внутри него или измените свой .xinitc, чтобы автоматически запустить сеанс рабочего стола с запуском Chrome в качестве запуска.