Data Engineer, Москва
Задачи
- построение новых и оптимизация существующих ETL-процессов, преимущественно на Spark + Java;
- ad-hoc задачи по подготовке данных, их автоматизация;
- участие в доработках платформы и фреймворков для расчетов;
- анализ сырых данных, построение модели данных.
Требования
- опыт и уверенное понимание принципов работы с большими объемами данных, с применением любой из технологий, например: Spark, Hive, SQL (RDBMS) и т.д.;
- желателен опыт работы с Hadoop-стеком, Spark, Java, Scala;
- опыт построения сложных ETL-процессов;
- навыки разработки с применением концепций ООП;
- знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем.
Будет плюсом
- опыт продуктовой аналитики;
- знакомство с ML / DS, знание базовых идей и концепций;
- понимание основ теории вероятности / статистики.
Мы предлагаем
Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи
Одноклассники
Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок.