Я разработал несколько шагов для установки php 5.3 + Apache на Ubuntu 14.
Сначала напишите следующие репозитории в файл /etc/apt/sources.list.d/ubuntu-old.list
deb http://55.archive.ubuntu.com/ubuntu/ trusty main
deb http://security.ubuntu.com/ubuntu precise-security main universe
deb http://cz.archive.ubuntu.com/ubuntu precise main universe
запустите [ f4], а затем
sudo apt-get install php5=5.3.10-1ubuntu3.19 php5-cli=5.3.10-1ubuntu3.19 php5-common=5.3.10-1ubuntu3.19 libapache2-mod-php5=5.3.10-1ubuntu3.19 apache2=2.2.22-1ubuntu1.9 apache2-mpm-prefork=2.2.22-1ubuntu1.9 apache2.2-common=2.2.22-1ubuntu1.9 apache2.2-bin=2.2.22-1ubuntu1.9 php5-pgsql=5.3.10-1ubuntu3.19 php5-xdebug=2.1.0-1
Я тестировал каждую команду, она работала нормально!