Единственный способ добиться этого - установить всю ОС Ubuntu на флеш-накопитель. Пакеты, которые вы хотите установить, интегрируются в вашу ОС, так как они требуют правильного функционирования обычных пакетов. Вы можете, например, изменить путь к вашему каталогу apache, чтобы ваши сайты находились на вашем USB-накопителе, если хотите: простой способ изменить apache www location
Если вы хотите установить Ubuntu на usb, посмотрите эта ссылка: Легкий способ изменить местоположение apache www