Чтобы запустить PHP, вам определенно нужен веб-сервер. Если apache не является предпочтительным, вы можете попробовать lighttpd, nginx или abyss.
Единственной частью, которая действительно не нужна, является MySQL, если вас не интересует наличие бэкэнда базы данных.
С другой стороны, вы можете просто установить LAMP и убедиться, что серверы не запускаются автоматически при загрузке, запустив:
sudo update-rc.d mysql stop
sudo update-rc.d apache2 stop