![](https://webcf.waybackmachine.org/web/20230930192335im_/https://habrastorage.org/r/w780/getpro/habr/upload_files/64d/416/a71/64d416a71fb97a4962ced8722549f068.jpg)
Привет, Habr !
Я работаю инженером по машинному обучению в Мегафоне. Занимаюсь аналитикой данных и являюсь частью команды разработки MLOps платформы. Задача нашей команды состоит в том, чтобы выстраивать и оптимизировать процессы разработки и продуктивизации моделей машинного обучения, предоставлять функционал для основных этапов (сбор данных, MQ/DQ, продуктивизация).
Сегодня поговорим о том, какие сложности могут возникать при работе с кластером Hadoop и какие есть методы для их решения.
Видеозапись по мотивам статьи можно посмотреть здесь.
Эта статья будет интересна аналитикам и инженерам, которые работают с BigData и регулярно сталкиваются с необходимостью продуктивизировать модели на Hadoop.
Затронем следующие темы: