Наша команда внутри AdTech разрабатывает инструменты работы с большими данными, упрощающие жизнь DS и аналитиков. В центре внимания - обучение и применение большого кол-ва моделей ранжирования и классификации в Hadoop-кластере, результаты работы моделей применяются при подборе рекламы и позволяют улучшать его качество на различных этапах (таргетинги, пре-ранк объявлений, новые признаки для моделей real-time-подбора и т.д.).

Задачи

• Развитие системы автоматизации жизненного цикла ML-моделей и обработки больших данных для повышения качества подбора рекламы и смежных задач.
• Проектирование, разработка и поддержка инструментов для создания надёжных пайплайнов данных.
• Исследование и интеграция новых источников для построения различных витрин признаков, используемых в ML-моделях.

Требования

• Знание классических алгоритмов и структур данных.
• Уверенное владение Python / SQL, написание качественного кода.
• Опыт работы с Hadoop (HDFS, Spark, Hive).* Навыки работы с bash, git, linux, docker.

Будет плюсом

• Опыт работы с luigi/airflow.
• Знание Java/Scala.* Опыт работы с Kafka.
• Знание классических ML-моделей.