В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основные задачи команды – это доработка платформы и фреймворков для расчетов ETL-процессов на базе Hadoop-стека.

Мы ожидаем хорошее понимание принципов распределённых вычислений, опыт работы с Big Data и Java.

Наш блог на Хабр:

https://habr.com/ru/company/od...

Задачи

• участие в доработках платформы для хранения данных и фреймворков для регулярных расчетов;
• построение новых и оптимизация существующих ETL-процессов, преимущественно на Spark + Java;
• анализ сырых данных, построение модели данных.

Требования

• уверенное понимание принципов и опыт работы с большими объёмами данных и распределенными вычислениями;
• отличные знания SQL;
• опыт работы или знакомство с Hadoop-стеком: в первую очередь, Spark + Java;
• опыт построения сложных ETL-процессов;
• навыки разработки с применением концепций ООП;
• знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем.

Будет плюсом

• опыт работы с Clickhouse