Использование версий для настроек дома?

Я планировал использовать git для важных файлов в своем домашнем каталоге, поэтому я могу восстановить плохие настройки или перенести их на другой компьютер по мере необходимости. Но там слишком много хаоса, причем каждая программа смешивает дико временные файлы, кеши, журналы, резервные копии и все такое.

Нахождение чего-либо, что стоит сэкономить, сложно, и когда я нашел какие-либо настройки, сделанные мною, они были смешаны с информацией, специфичной для компьютера (так что я вряд ли мог взять их на другой) и timestamps (так отслеживать полезные изменения сложно).

Кто-нибудь это делает или это просто безнадежно и как отфильтровать мусор?