Senior Big Data Engineer в AdTech-направление, Москва

Задачи

Мы ищем опытного Big Data инженера в группу аналитики, которая занимается продуктовой и бизнес-аналитикой рекламных данных: проводит эксперименты, строит систему алертов и умного мониторинга сотен метрик в реальном времени. Помогает продуктовым командам принимать дата-дривен решения. Все это невозможно без усиления ETL и инженерной части.

Мы ожидаем, что новый специалист поможет нам наладить загрузку данных на регулярной основе из ClickHouse и MySql в Vertica, выстроить полноценный аналитический слой, выбрать и реализовать модель данных, а также оптимизировать производительность процессов.

Стек используемых технологий:

• работаем с данными в Vertica, ClickHouse, Hadoop;
• пишем код в Python, управляем процессами в Airflow;
• рисуем графики в Superset, Redash, Tableau.

Задачи:

• писать пайплайны по обработке данных (батчи / потоки);
• разрабатывать модель данных в OLAP базе (vertica);
• автоматизировать процесс обработки и тестирования данных с тз. качества - полноты, точности и актуальности;
• оптимизировать производительность сборки витрин от аналитиков;
• оптимизировать производительность пайплайнов с точки зрения скорости и расхода ресурсов.

Требования

• опыт и уверенное понимание принципов работы с большими объемами данных;
• знание базовых алгоритмов и структур хранения данных;
• умение писать код на Python;
• представление об экосистеме Hadoop, понимание отличия Spark от MapReduce;
• опыт работы с аналитическими базами данных (Vertica, ClickHouse, GreenPlum и тд).

Будет плюсом

• знание scala;
• опыт потоковой обработки данных (SparkStreaming).

Мы предлагаем