Инженер данных (Data Engineer) в Департамент бизнес-процессов, Москва
Задачи
- участие совместно с командой data scientist в процессе построения рекомендации для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных для модели;
- повышение надежности и отказоустойчивости ETL-процессов;
- написание новых ETL-процессов;
- участие в поддержке и улучшении инфраструктуры для построения рекомендаций;
- участие в разработке продакшн-кода в части загрузки и обработки данных.
Требования
- нимание принципов работы Hadoop, опыт работы с BigData, знание Hive и Spark;
- опыт в разработке ETL-процессов;
- уверенное знание SQL на уровне написания сложных запросов;
- умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
- опыт разработки на Python с применением концепций ООП;
- Linux, Bash.
Будет плюсом
- опыт работы с Airflow, Docker, CI;
- глубокое понимание Hadoop;
- знание классических алгоритмов и структур данных;
- опыт работы с BI-системами;
- понимание принципов работы машинного обучения.
Мы предлагаем
Официальная зарплата
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Mail.ru Group
Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.