Я использую рабочий стол единицы. Этот вопрос не конкретен к vlc. Происходит то же с kmplayer и mplayer также, но не с видеоплеером по умолчанию. Снимок экрана ниже (VLC минимизирован, но затем слишком видео, принимает терминал).
проблема устраняется путем выполнения vlc использования команды
vlc --no-overlay