MLOps: навыки машинного обучения для потоковых данных и распределенной среды

Курсы

Программирование
Разработчик на Spring Framework C# ASP.NET Core разработчик iOS Developer. Basic Специализация iOS iOS Developer. Professional Архитектура и шаблоны проектирования Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик IoT Node.js Developer Java Developer. Professional
-19%
Microservice Architecture Unreal Engine Game Developer Scala-разработчик Java Developer. Basic HTML/CSS Специализация C++ Developer C++ Developer. Professional Android Developer. Professional
-20%
PostgreSQL для администраторов баз данных и разработчиков
-20%
C# Developer. Basic Cloud Solution Architecture Software Architect Web-разработчик на Python MS SQL Server Developer Team Lead NoSQL Symfony Framework Unity Game Developer. Professional Специализация PHP Developer Буткемп Java Groovy Developer
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
Курс переработан
Партнер курса
логотип партнера
Курс переработан

MLOps

Практический курс по инструментам и технологиям работы с большими данными.

Длительность обучения:

5 месяцев

4 ак. часа в нед.

Начало занятий:

16 июля

Что даст вам этот курс

Данный курс даст вам понимание того, как устроен процесс внедрения ML-решения от идеи до вывода его в прод. Преподаватели поделятся лучшими практиками и инструментами MLOps, которые устоялись в современной индустрии.

Каждый модуль вы будете закреплять на практике, выполняя домашнее задание. В конце обучения вас ждет финальный проект, который позволит обобщить все полученные знания и пополнить портфолио. Он может быть выполнен в рамках рабочих задач на вашем датасете или быть учебным проектом, основанным на данных, предоставляемых OTUS.

Для кого этот курс?

Для специалистов по Машинному обучению или Software инженеров, которые хотят научиться использовать современные инструменты MLOps для развертывания их решений в проде.

Для обучения вам понадобятся базовые навыки работы с данными. Предлагаем посмотреть Карту курсов направления Data Science в OTUS, чтобы сориентироваться в необходимом уровне подготовки.

Вы научитесь:

  • Использовать стандартные инструменты ML-конвейеров в распределенной среде;
  • Разрабатывать собственные блоки для ML-конвейеров;
  • Адаптировать ML-алгоритмы к распределенной среде и инструментам big data;
  • Использовать Spark, SparkML, Spark Streaming;
  • Разрабатывать алгоритмы потоковой подготовки данных для машинного обучения;
  • Обеспечивать контроль качества на всех этапах движения ML-решений в промышленную эксплуатацию;
  • Использовать инструменты Kubernetes и Docker для развертывания ML-решений в проде.

Востребованность специалистов

Один из главных трендов в современном мире - автоматизация процессов обучения и валидации, которая, в некотором роде обесценивает работу классического Data Scientist. Все движется к тому, что даже неспециалист сможет сделать fit-predict. Поэтому уже сейчас в цене те, кто имеют хотя бы поверхностные инженерные навыки.

Особенности курса

 

Много практики работы с данными

Практика в Yandex Cloud: отработаете практические навыки на виртуальных стендах и освоите работу с одной из популярных российских облачных платформ

Широкий спектр навыков от распределенного ML и потоковой обработки данных до вывода в продакшн

Актуальные инструменты и технологии: Kubernetes, Spark, Python, Docker

Живое общение с экспертами на вебинарах и в чате Slack

Преподаватели

Павел Филонов
Ex-Data Science Manager в Kaspersky
Дмитрий Бугайченко
Управляющий директор в Сбербанке
Богдан Кириллов
младший научный сотрудник Института Биологии Гена Российской Академии Наук
Максим Мигутин
Андрей Канашов
Data Scientist в OMD OM GROUP
Вадим Заигрин
Software Engineering Team Lead, Teradata
Анатолий Бурнашев
Эксперт Центра практик обеспечения надёжности в MTS.Digital
Занимается развитием Data Science команды, которая предоставляет для продуктов и сервисов компании функционал на основе машинного обучения.

В роли Data Scientist участвовал в разработке Kaspersky MLAD и MDR AI Analyst.

В роли разработчика C++ участвовал в создании MaxPatrol SIEM.

В течение многих лет преподает computer science дисциплины в МГТУ ГА.

Автор серии докладов про ML, С++, управление DS проектами и развитии команды. Член ПК конференции C++ Russia.

Специалист по работе с большими данными и машинному обучению. В течение 8 лет работал в «Одноклассники.ru». Руководил командой OK Data Lab (лаборатория для исследователей в области big data и machine learning).

Анализ больших данных в Одноклассниках стал уникальным шансом совместить теоретическую подготовку и научный фундамент с разработкой реальных, востребованных продуктов. С 2019 года работает в Сбербанке на должности управляющего директора. Выступает в роли лидера кластера разработки платформы рекомендательных систем дивизиона массовой персонализации.

Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007. Почти 9 лет проработал в аутсорсинге, не теряя контакта с университетом и научной средой.

В отрасли машинного обучения с 2013 года, сначала занимался статистической обработкой психологических исследований, затем компьютерным зрением, искусственным интеллектом в анализе медицинских данных и биоинформатикой.

В 2016 году закончил бакалавриат Университета ИТМО, направление "Техническая физика". В 2016-17 учился в магистратуре "Анализ данных в биологии и медицине" НИУ ВШЭ. В 2019 году закончил магистерскую программу "Науки о жизни" Сколковского института науки и технологии.
В 2019 году занимался поиском новых иммунных систем бактерий при помощи машинного обучения в Национальном Центре Биотехнологической Информации (NCBI, NLM, NIH, г. Бетезда, Мэрилэнд, США). С 2019 года - аспирант Сколковского института науки и технологий, тема диссертации - "Оценка неопределенности и интерпретация предсказаний нейронных сетей для изучения механизмов работы системы CRISPR".
В 2020 году преподавал в НИУ ВШЭ, читал курс "Культура работы с данными" для студентов первого курса ФБиБ. В 2019-2020 году работал в компании СберМедИИ (тогда называвшейся CoBrain Analytics), основной проект - система автоматической деперсонализации отсканированных рукописных историй болезни. С 2021 - младший научный сотрудник Института Биологии Гена Российской Академии Наук.

Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).
Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.
Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета

Работает на позиции Data Scientist в рекламном агентстве OMD OM GROUP. В текущей деятельности решает задачи:
- Аудиторного профилирования
- Персонализации рекламы
- Анализа социальных сетей

Самостоятельно занимался изучением Machine Learning. Знает, что нужно для освоения новой профессии и какие при этом возникают вопросы.

Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.
Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

20+ лет на проектах заказной разработки в ИТ.
Десятки успешных проектов, в том числе - по государственным контрактам.
Опыт разработки и внедрения ERP-систем, open-source решений, поддержка высоконагруженных приложений.
Преподаватель курсов по Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, а так же наставник курса HighLoad

Павел
Филонов
Дмитрий
Бугайченко
Богдан
Кириллов
Максим
Мигутин
Андрей
Канашов
Вадим
Заигрин
Анатолий
Бурнашев

Преподаватели

Павел Филонов
Ex-Data Science Manager в Kaspersky
Занимается развитием Data Science команды, которая предоставляет для продуктов и сервисов компании функционал на основе машинного обучения.

В роли Data Scientist участвовал в разработке Kaspersky MLAD и MDR AI Analyst.

В роли разработчика C++ участвовал в создании MaxPatrol SIEM.

В течение многих лет преподает computer science дисциплины в МГТУ ГА.

Автор серии докладов про ML, С++, управление DS проектами и развитии команды. Член ПК конференции C++ Russia.

Дмитрий Бугайченко
Управляющий директор в Сбербанке
Специалист по работе с большими данными и машинному обучению. В течение 8 лет работал в «Одноклассники.ru». Руководил командой OK Data Lab (лаборатория для исследователей в области big data и machine learning).

Анализ больших данных в Одноклассниках стал уникальным шансом совместить теоретическую подготовку и научный фундамент с разработкой реальных, востребованных продуктов. С 2019 года работает в Сбербанке на должности управляющего директора. Выступает в роли лидера кластера разработки платформы рекомендательных систем дивизиона массовой персонализации.

Окончил Санкт-Петербургский государственный университет в 2004 году, там же защитил кандидатскую по формально-логическим методам в 2007. Почти 9 лет проработал в аутсорсинге, не теряя контакта с университетом и научной средой.

Богдан Кириллов
младший научный сотрудник Института Биологии Гена Российской Академии Наук
В отрасли машинного обучения с 2013 года, сначала занимался статистической обработкой психологических исследований, затем компьютерным зрением, искусственным интеллектом в анализе медицинских данных и биоинформатикой.

В 2016 году закончил бакалавриат Университета ИТМО, направление "Техническая физика". В 2016-17 учился в магистратуре "Анализ данных в биологии и медицине" НИУ ВШЭ. В 2019 году закончил магистерскую программу "Науки о жизни" Сколковского института науки и технологии.
В 2019 году занимался поиском новых иммунных систем бактерий при помощи машинного обучения в Национальном Центре Биотехнологической Информации (NCBI, NLM, NIH, г. Бетезда, Мэрилэнд, США). С 2019 года - аспирант Сколковского института науки и технологий, тема диссертации - "Оценка неопределенности и интерпретация предсказаний нейронных сетей для изучения механизмов работы системы CRISPR".
В 2020 году преподавал в НИУ ВШЭ, читал курс "Культура работы с данными" для студентов первого курса ФБиБ. В 2019-2020 году работал в компании СберМедИИ (тогда называвшейся CoBrain Analytics), основной проект - система автоматической деперсонализации отсканированных рукописных историй болезни. С 2021 - младший научный сотрудник Института Биологии Гена Российской Академии Наук.

Максим Мигутин
Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).
Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.
Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета

Андрей Канашов
Data Scientist в OMD OM GROUP
Работает на позиции Data Scientist в рекламном агентстве OMD OM GROUP. В текущей деятельности решает задачи:
- Аудиторного профилирования
- Персонализации рекламы
- Анализа социальных сетей

Самостоятельно занимался изучением Machine Learning. Знает, что нужно для освоения новой профессии и какие при этом возникают вопросы.

Вадим Заигрин
Software Engineering Team Lead, Teradata
Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.
Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Анатолий Бурнашев
Эксперт Центра практик обеспечения надёжности в MTS.Digital
20+ лет на проектах заказной разработки в ИТ.
Десятки успешных проектов, в том числе - по государственным контрактам.
Опыт разработки и внедрения ERP-систем, open-source решений, поддержка высоконагруженных приложений.
Преподаватель курсов по Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, а так же наставник курса HighLoad

Необходимые знания

Программирование:

  - опыт разработки на python;
  - построение веб-сервисов на python.

ML:

  - понимание терминологии машинного обучения;
  - опыт использования python для решения задач ML.

Технологии:

  - Linux;
  - Docker;
  - Git.
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Тема 1. Вводное занятие
Тема 2. Цели и метрики ML проектов
Тема 3. Организация исходного кода
Тема 4. Взаимодействие с командой
Тема 5. Практика. Формирование процессов команды
Тема 6. Базовые блоки инфраструктуры
Тема 7. Облачные провайдеры
Тема 8. Собственная инфраструктура
Тема 9. Хранение кода и CI/CD
Тема 10. Биллинг и Identity and Access Management
Тема 11. Практика. Настройка облачной инфраструктуры
Тема 12. Выбор хранилища. HDFS/S3/DataBase/etc
Тема 13. Сбор данных по расписанию. AirFlow
Тема 14. Сбор данных на потоке. Kafka
Тема 15. Валидация данных
Тема 16. Обнаружение сдвигов в данных
Тема 17. Подготовка и обогащение данных
Тема 18. Извлечение признаков
Тема 19. Версионирование данных. DVC
Тема 20. Практика. Конвейер подготовки данных
Тема 21. Воспроизводимость и версионирование. MLFlow
Тема 22. Перенос ML алгоритмов в распределенную среду
Тема 23. Популярные фреймворки в распределенной среде
Тема 24. Подбор гиперпараметров и AutoML
Тема 25. Практика. Регулярное переобучение
Тема 26. Стратегии валидации моделей
Тема 27. Анализ моделей
Тема 28. Интерпретируемость
Тема 29. A/B тестирование
Тема 30. Практика. Автоматическая валидация
Тема 31. Пакетный режим работы
Тема 32. Асинхронный потоковый режим
Тема 33. Синхронный режим
Тема 34. Подготовка артефактов
Тема 35. Развертывание в k8s
Тема 36. Обновление моделей
Тема 37. Инструменты и метрики. Prometheus
Тема 38. Поиск отклонений и сдвигов в данных
Тема 39. Построение обратной петли
Тема 40. Алертинг
Тема 41. Выбор темы и организация проектной работы
Тема 42. Консультация по проектам и домашним заданиям
Тема 43. Защита проектных работ
Скачать подробную программу
Выпускной проект
Выпускной проект — возможность закрепить навыки, наработанные в процессе обучения. Вам на выбор будет предоставлено 2 варианта:
  • взять свою задачу и свои данные;

  • разработать и развернуть на Spark рекомендательную систему.

Процесс обучения

Всё обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Слаке курса, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары идут дважды в неделю по 2 академических часа (то есть астрономических 1,5 часа). Все вебинары сохраняются и в записи в вашем личном кабинете.

Домашнее задание выдается в среднем по 1 на модуль.
Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы


  • получите материалы по всем занятиям (видеозаписи занятий, презентации, примеры кодов);

  • научитесь работать с большими данными в продакшне;

  • сможете использовать Spark, SparkML, Spark Streaming;

  • научитесь адаптировать ML-алгоритмы к распределенной среде и инструментам big data;

  • получите сертификат об окончании курса;

  • получите приглашение пройти собеседование в компаниях-партнерах (в случае успешного обучения на курсе).

Дата выдачи сертификата: 20 января 2023 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «MLOps»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «MLOps»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Открытый урок "Быстрое прототипирование сервисов, использующих глубокое обучение"
Богдан Кириллов
День открытых дверей
1 декабря 2021 года в 20:00
Оставьте заявку, чтобы получить доступ к записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Партнеры ждут выпускников этого курса