На этот вопрос уже есть ответ здесь:
Есть ли в Ubuntu библиотеки для преобразования видеофайлов в другой формат ??
На самом деле существуют партии. Используемым наиболее распространенным является FFmpeg-libav. VLC использует эту библиотеку.
libav