Сегодня у меня такая же проблема. Я следил за сообщением Вам нужно установить postgresql-server-dev-X.Y для создания расширения на стороне сервера или libpq-dev для создания клиентского приложения. Так что снова установлено приложение libpq-dev и bundle rails, и ошибка исчезла.
$ sudo apt-get install libpq-dev
$ bundle install