Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов VK (Почта, Медиапроекты, Облако, Звонки, Маруся и др.).

А также разработкой сервисов для решения различных бизнес-задач с этими данными. В данный момент наш вычислительный кластер хранит десятки петабайт данных.
Для нас важен большой опыт Python-разработки. У нас много разноплановой разработки, часть из которой связана с железом. На проекте используются реляционные базы данных, Hadoop, Spark, Airflow, bash. 

Задачи

• разработка и сопровождение хранилища данных Экосистемы VK;
• разработка DWH платформы;
• автоматизация ETL-процессов;
• создание новых пайплайнов.

Требования

• навыки разработки на Python;
• опыт работы с реляционными СУБД;
• отличное знание SQL, понимание как работают индексы, опыт оптимизации запросов;
• умение писать код, решать алгоритмические задачи.

Будет плюсом

• имеется представление о работе аналитических СУБД и MPP-систем (Vertica, ClickHouse или др.);
• знание методологий проектирования Хранилищ Данных;
• опыт разработки потоков данных на Airflow;
• опыт работы со стеком Hadoop (Spark/Scala).