Я могу удалить cpp из Ubuntu, не вызывая проблем?

У Вас не должно быть проблем с сервером, не устанавливающим компилятор.

Обычно компилятор не принадлежит серверу ЛАМПЫ из соображений безопасности. Это "помогает" взломщику ввести в некотором коде, скомпилировать его в программу, выполнить его и действительно намного больше повреждает.

А возможное исключение - то, если у Вас есть драйвер устройства не часть стандартного дистрибутива. Каждый раз, когда Вы обновляете ядро, необходимо было бы перекомпилировать тот драйвер.