Сначала вы должны исключить .gvfs, если установлена GVFS.
rsync -vaxE --progress --delete --log-file='./rsync-log' --exclude={"/home/*/.gvfs"} / /media/me/Backup/
Или, если вы используете / home в качестве отдельного раздела, удалите -x вариант
rsync -vaE --progress --delete --log-file='./rsync-log' --exclude={"/home/*/.gvfs"} / /media/me/Backup/