Вы пытались просто очистить пакеты, оставшиеся от попытки неудачного удаления вручную?
sudo apt-get purge postgresql-client-9.4 postgresql-client-common postgresql-common
Затем:
sudo apt-get update install postgresql
Удаление явно не выполняется, потому что postgresql не установлен, но переустановка может быть неудачной, потому что что-то не так с тем, что осталось от предыдущей установки.