Я должен установить драйверы для бездисплейного сервера?

Я создаю файловый сервер с Сервером Ubuntu 16.04 LTS. Материнская плата не имеет встроенной видеокарты, таким образом, я использую видеокарту Nvidia для установки. Я протестировал это, я могу установить с этой видеокартой с помощью свободных nouveau драйверов. Я обеспокоен системной устойчивостью. Я знаю, что эта та же видеокарта вызывает серьезные проблемы в Рабочем столе Ubuntu если не с помощью несвободных драйверов.

Таким образом, так как я не имею рабочего стола или X установленным и не буду взаимодействовать с машиной локально, я должен оставить драйвер по умолчанию или установить несвободный драйвер Nvidia?

Я спрашиваю, потому что я не уверен, ограничиваются ли проблемы драйвера графической платы X и настольные среды или если они всегда находятся в игре и просто становятся большей проблемой при работе в настольных средах. Плюс я не хочу устанавливать несвободные драйверы Nvidia, потому что я не уверен, как предотвратить его от также установки графического рабочего стола.

Спасибо за любое руководство здесь.