Для домашнего использования можно попробовать какой-нибудь HomeMediaServer или
simpleDLNA - натравливаешь их на свою библиотеку, и они на лету будут перекодировать видео для клиента.
Так можно будет смотреть с других компьютеров, телефона, телевизора.
А MKV - это контейнер, в котором может использоваться любой кодек, так что плеер должен уметь понимать их все.