Тебе предстоит заниматься разработкой аналитической платформы.
Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать еще быстрее и успешнее.
Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты как Почта, Облако, Маруся, Медиа проекты.
У нас используется стек Hadoop/Kafka/PySpark/Clickhouse. Для аналитики используются данные размером десятки петабайт. Тебе предстоит работать с настоящей BigData.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.

Задачи

- Разработка DWH платформы;
- Проектирование схем для хранения данных;
- Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
- Автоматизация data-pipelines, ETL процессов;
- Автоматизация построения витрин данных;
- Организация CI/CD и мониторинга процессов обработки данных; - Готовность разбираться в чужом коде;
- Ревью кода в команде.

Требования

- опыт DWH разработки от 1 года, знание Python;
- понимание принципов работы классических СУБД;
- работа с Linux Bash;

Будет плюсом

- знакомство и опыт работы с экосистемой Hadoop;
- опыт работы с MPP базами;
- опыт организации ETL-процессов обработки данных.