У меня есть USB с загрузочной Ubuntu 16.04 ISO, и когда я загружаю его, я могу установить и использовать пакеты, как я могу на своей регулярной установке Ubuntu. Когда я перезапускаю систему и загружаюсь назад в то, что USB, все пакеты, которые я установил, не стало, и все другие изменения исчезли также (изменяющий раскладку клавиатуры, и т.д.).
Почему это происходит и является там способом мешать ему делать так?
Популярные дистрибутивы имеют специальную вещь, названную Персистентностью, это точно, что Вы ищете.
Взглянули на https://wiki.ubuntu.com/LiveUsbPendrivePersistent
И отвечать на Ваш вопрос, живой USB просто загружает изображение, ничто на самом деле не изменяется в том изображении (предположите вставлять CD для начальной загрузки, это - то же).
Я не думаю, что функция персистентности на самом деле сохраняет установленные пакеты. Если это не делает, самый легкий способ достигнуть того, что Вы хотите, должен поместить все Ваши команды настройки в сценарий, который Вы сохраняете в разделе персистентности и выполняете его, когда Вы сначала загружаетесь.