Как правило, вы всегда должны удалять все сетевые службы, используя apt-get --purge remove <package-name>. Таким образом, все файлы конфигурации будут удалены.
В этом случае команда будет:
apt-get --purge remove isc-dhcp-client isc-dhcp-common
Эта команда полностью удалит isc-dhcp-client.