Попробуйте использовать avconv вместо ffmpeg. (Связь между этими двумя вилами в Ubuntu представляется сложной проблемой).
В моей системе 12.10 у меня есть и исполняемые файлы для ffmpeg и avconv, но только файлы предустановок для avconv (в /usr/share/avconv).
Попробуйте:
avconv -f x11grab -r 15 -s 1366x768 -i :0.0 -same_quant -codec:v libx264 -pre:v ultrafast test.mkv