Как я могу изменить значки кнопки окна?

Это будет связано с изменением вашей темы. Но вы можете создать свою собственную тему.

Это не так сложно, как кажется:

1. скопируйте базовую тему
2. замените используемые изображения на те, которые вы хотите использовать
3. выберите Тема, которую вы только что создали в настройках внешнего вида.

Вы можете найти более подробную инструкцию по изменению значков окна Ubuntu здесь

Изменяя свои темы (System Settings > Appearance > Theme drop-down options), вы меняете значки, которые вы видите в Nautilus и других программах.