Задачи

• построение новых и оптимизация существующих ETL-процессов, преимущественно на Spark + Java;
• ad-hoc задачи по подготовке данных, их автоматизация;
• участие в доработках платформы и фреймворков для расчетов;
• анализ сырых данных, построение модели данных.

Требования

• опыт и уверенное понимание принципов работы с большими объемами данных, с применением любой из технологий, например: Spark, Hive, SQL (RDBMS) и т.д.;
• желателен опыт работы с Hadoop-стеком, Spark, Java, Scala;
• опыт построения сложных ETL-процессов;
• навыки разработки с применением концепций ООП;
• знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем.

Будет плюсом

• опыт продуктовой аналитики;
• знакомство с ML / DS, знание базовых идей и концепций;
• понимание основ теории вероятности / статистики.