Я думаю, vlc поддерживает преобразование в avi, и я думаю, что он также играет в mkv.
В меню media есть опция для convert/save
VLC Transcode