Практически любая карта после GPU серии 8000 поддерживается. Убедитесь, что у вас установлен проприетарный драйвер nVidia, поскольку vdpau не работает с драйвером nouveau.
Вот таблица поддержки NVIDIA GPU vdpau: http://www.mythtv.org/wiki/ VDPAU # Supported_Cards
Также убедитесь, что пакет vdpau-va-driver установлен. Затем вы можете запустить vainfo, чтобы узнать, поддерживается ли ваша карта.
Похоже, вы пытаетесь ссылаться на то, что было создано в другом контексте. Вам нужно передать любой контекст, который нужен новому потоку, по значению.