На этот вопрос уже есть ответ здесь:
Как я могу удалить Apache2 в Ubuntu 14.04 из терминала? Я не знаю команд.
Это сделало бы то, что Вы хотите
sudo apt-get remove apache2*
Если Вы просто хотите удалить апачское использование:
sudo apt-get remove apache2
, Хотя, если бы Вы не намереваетесь переустановить в какой-то момент и хотели бы удалить все конфигурационные файлы апача затем, используйте:
sudo apt-get purge apache2