Инженер данных (Data Engineer) в Департамент бизнес-процессов, Москва

Задачи

• участие совместно с командой data scientist в процессе построения рекомендации для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных для модели;
• повышение надежности и отказоустойчивости ETL-процессов;
• написание новых ETL-процессов;
• участие в поддержке и улучшении инфраструктуры для построения рекомендаций;
• участие в разработке продакшн-кода в части загрузки и обработки данных.

Требования

• нимание принципов работы Hadoop, опыт работы с BigData, знание Hive и Spark;
• опыт в разработке ETL-процессов;
• уверенное знание SQL на уровне написания сложных запросов;
• умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
• опыт разработки на Python с применением концепций ООП;
• Linux, Bash.

Будет плюсом

• опыт работы с Airflow, Docker, CI;
• глубокое понимание Hadoop;
• знание классических алгоритмов и структур данных;
• опыт работы с BI-системами;
• понимание принципов работы машинного обучения.

Мы предлагаем