Из man-страниц о опции --set-selection:
Обратите внимание, что это фактически не будет устанавливать или удалять, а просто устанавливать состояние выбора в запрошенных пакетах. Для загрузки и установки запрошенных пакетов вам понадобится другое приложение. Например, запустите apt-get dselect-upgrade.Кроме того, вы пытались разобрать его с помощью apt-get?
sudo apt-get remove network-manager