Сначала проверьте, используете ли вы правильное имя пакета, правильное имя пакета IMO: apache2.x-common
Если вы хотите полностью удалить пакет, включая файлы конфигурации, попробуйте:
dpkg --purge apache2.2-common