Data engineer в команду Почта, Москва
Почтой Mail.ru ежемесячно пользуются 45 млн пользователей. Это уже не только почтовый сервис. Почта Mail.ru — настоящий центр цифровой жизни Рунета.
В ней для удобства объединены все ключевые сервисы — Почта, Облако, Календарь, Видеозвонки, голосовой помощник Маруся, которая прочитает вслух письма и напомнит о важном, а также многое другое, что нужно для комфорта наших пользователей.
В Почте Mail.ru можно не только переписываться, но и оплачивать штрафы, пополнять баланс телефона, переводить деньги, планировать дела в календаре и хранить свои важные файлы.
Наша команда делает Почту удобнее каждый день — мы защищаем пользователей от спама, автоматически сортируем письма по папкам, выделяем важные и скрываем ненужные сообщения, предугадываем, что пользователь хочет написать, и предлагаем готовый текст ответа.
Мы создаём лучший инструмент для обмена и хранения информации, а также для решения повседневных задач людей и компаний.
Тебе предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать еще быстрее и успешнее.
Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты, как Почта, Облако, Маруся, Медиапроекты.
Наш стек: Hadoop, Kafka, PySpark, Clickhouse. Для аналитики используются данные размером десятки петабайт. Тебе предстоит работать с настоящей BigData.
Задачи
- разработка DWH-платформы
- проектирование схем для хранения данных
- автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т.д.)
- автоматизация data-pipelines, ETL-процессов
- автоматизация построения витрин данных
- организация CI/CD и мониторинга процессов обработки данных
- готовность разбираться в чужом коде
- ревью кода в команде
Требования
- опыт разработки c аналитикой — от 1 года
- опыт разработки «живых» проектов или доработка существующих решений
- опыт DWH разработки — от 1 года, знание Python
- понимание принципов работы классических СУБД
- работа с Linux & Bash
Мы предлагаем
Формат работы
Уровень
График работы
Почтовые сервисы
Почта, Поиск и Портал — одно из крупнейших подразделений в VK. Здесь сосредоточена работа над нашими флагманскими проектами: мы каждый день изобретаем новые технологии и решения, работаем с высоконагруженными проектами мирового уровня. Мы входим в топ-5 почтовых сервисов мира по дневной аудитории, развиваем свою поисковую систему и разрабатываем Облако Mail.ru и браузер Atom.