Data Engineer, Москва

Data Engineer, Москва

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объемы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия  решений.

Мы ищем BigData инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: десятки петабайт данных, количество узлов кластера более 400, ежедневный прирост информации составляет десятки тб. В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики\показы рекламы, использование мобильных приложений, профили соц.сетей пользователя, действия пользователей в соц.сетях и их публичные сообщения и т.д. Все это позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.

Наш стек технологий включает, но не ограничивается:

  • Database Systems: MySQL, Tarantool, ClickHouse.
  • Hadoop: Hive, Spark, MapReduce, Kafka.
  • DataFlow / ETL: Luigi, Airflow.
  • Business Inteligence: Tableau,  Redash, SuperSet.
  • Continuous Integration: Jenkins, GitLab CI.
  • IssueTracking / KnwoledgeBase : Jira, Confluence.
  • Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf.

Задачи

  • Участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH);
  • Исследование большого объема необработанных данных, накопленных в компании;
  • Построение и оптимизация нетривиальных ETL процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном Бизнес Юните до монетизации полученных знаний;
  • Взаимодействие с командой Data Scientist и совместная реализация стабильного расчета математический моделей;
  • Поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

  • Не менее года релевантного опыта работы;
  • Опыт работы с большими объемами данных, понимание стека технологий hadoop, глубокое знание Spark или Hive (плюсом будет знание Java, Scala в контексте обработки больших данных);
  • Опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • Знание классических алгоритмов и структур данных (плюсом будет опыт разработки на python);
  • Знания в области теории обработки и хранения информации;
  • Ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда

Формат работы

комбинированный
дистанционный

Уровень

middle
senior

График работы

полный

Рекламные технологии и развитие СМБ

Направление объединяет рекламные продукты и инструменты для бизнеса —  VK Реклама, ОРД, MyTracker, которые упрощают начало работы и ежедневное взаимодействие с рекламными кампаниями для любых категорий пользователей от начинающих предпринимателей до профессионалов маркетинга.

Мы предлагаем

Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда

Похожие вакансии

Ведущий Python-разработчик в Scrooge

VK Cloud
Москва, гибкий

Инженер технической поддержки Tarantool (с ростом в DevOps)

Tarantool
Москва, гибкий

Программист-исследователь

Поиск
Москва, гибкий

Data Engineer

Рекламные технологии и развитие СМБ
Москва, гибкий

Python-разработчик в Проектный офис

VK tech
Москва, гибкий

Data Scientist (реклама и медиа)

VK Реклама
Москва, гибкий

Backend-разработчик в команду Backend & API - инфраструктуры

ВКонтакте
Москва, гибкий

Системный администратор Linux / SRE (Мессенджеры)

Технический департамент
Москва, гибкий

Старший/ведущий аналитик в операционное направление рекламных технологий

VK
Москва, гибкий

SRE DWH/Bigdata

Технический департамент
Москва, гибкий

SRE/Site Reliability Engineer (R&D)

VK
Москва, комбинированный

Старший Python разработчик в команду BigData

VK Cloud
Москва, гибкий

Руководитель ML команды

ВКонтакте для бизнеса
Москва, гибкий

Продуктовый аналитик

Рекламные технологии и развитие СМБ
Москва, гибкий

Data-инженер

Рекламные технологии и развитие СМБ
Москва, гибкий

Системный аналитик (VK Мессенджер)

ВКонтакте
Санкт-Петербург, комбинированный

Data engineer в команду поисковой базы

Поиск
Москва, гибкий

Инженер по автоматизации (SDET/QA Automation)

VK Реклама
Москва, гибкий

Ведущий Python-разработчик

VK Реклама
Москва, гибкий

Python-разработчик

VK Реклама
Москва, гибкий

Архитектор Сommon services

VK Cloud
Москва, гибкий

Продуктовый аналитик в команду ленты и рекомендаций

ВКонтакте
Санкт-Петербург, гибкий

Python-разработчик VK Play Store

VK Play
Москва, гибкий

Старший Python-разработчик

VK Карты
Москва, гибкий

Бизнес-аналитик (медиастратегия)

VK
Москва, гибкий

Разработчик в команду партнерского кабинета

VK Cloud
Москва, гибкий

Backend разработчик в команду Security

Департамент по экосистемным продуктам VK
Москва, гибкий

MLOps (команда VK Видео)

VK
Москва, гибкий

Разработчик

Tarantool
Москва, гибкий

Python разработчик в команду СМБ

Рекламные технологии и развитие СМБ
Санкт-Петербург, гибкий

Инженер по информационной безопасности (BugBounty)

Информационная безопасность
Москва, гибкий

Senior backend AQA (python)

VK
Москва, гибкий

Технический архитектор НМ

VK tech
Москва, гибкий

Менеджер продукта в команду VK ID

Департамент по экосистемным продуктам VK
Москва, гибкий

Аналитик данных

VK
Москва, комбинированный

Продуктовый аналитик (VK Видео)

ВКонтакте
Москва, гибкий

Python разработчик в команду Billing

VK Cloud
Москва, гибкий

Python разработчик(DWH)

Почта
Москва, гибкий

Старший Python-разработчик в Группу диалогового движка Маруси

Голосовые технологии (Маруся)
Москва, гибкий

FullStack-разработчик

Внутренняя информационная разработка
Москва, гибкий

Старший аналитик в команду Новостей

Дзен
Москва, гибкий

Руководителя отдела cистемной аналитики (VK Pay)

VK Pay
Москва, гибкий

Go-разработчик в команду Спецпроектов

VK
Москва, гибкий

Python-разработчик в MLPlatform

VK Cloud
Москва, гибкий

Weekend Offer VK Cloud для бэкенд-разработчиков, 30.09–01.10 в VK Cloud

VK Cloud
Москва, гибкий

Программист-исследователь

Голосовые технологии (Маруся)
Москва, гибкий

Дата-инженер

Дзен
Москва, гибкий

Data Scientist R&G

VK
дистанционный

Python разработчик в команду SDN IaaS

VK Cloud
Москва, гибкий

.NET - разработчик в команду IDM

Технический департамент
Москва, гибкий

Ведущий Python-разработчик в Scrooge в VK Cloud

VK Cloud
Москва, гибкий

Python разработчик в Проектный офис

VK tech
Москва, гибкий

Руководитель отдела разработки сетевых сервисов

Технический департамент
Москва, гибкий

SRE / Системный администратор Linux (One Cloud)

Технический департамент
Москва, гибкий

Аналитик CVM (Блок Коммерция b2b)

VK Реклама
Москва, гибкий

Ведущий разработчик Go

VK Реклама
Москва, гибкий

ML engineer

VK Реклама
Москва, гибкий

Системный администратор Linux / SRE

Технический департамент
Москва, гибкий

Руководитель команды DevPlatform

VK Cloud
Москва, гибкий

TeamLead команды Data Masters

VK Cloud
Москва, гибкий

Data Scientist

Рекламные технологии и развитие СМБ
Москва, гибкий

Python разработчик в команду IaaS Network Services

VK Cloud
Москва, гибкий

Разработчик C++

Рекламные технологии и развитие СМБ
Москва, гибкий

Руководитель направления продуктовой аналитики (VK Music)

Медиапроекты
Москва, гибкий

Старший Python-разработчик в команду разработки высокопроизводительных систем

Технический департамент
Санкт-Петербург, гибкий

Team Lead

VK Реклама
Москва, гибкий

Инженер по информационной безопасности (Инфраструктура)

Информационная безопасность
Москва, гибкий

Старший Python разработчик в IaaS Storage

VK Cloud
Москва, гибкий

Python разработчик в IaaS Compute

VK Cloud
Санкт-Петербург, гибкий

SRE / Системный администратор Linux (One Cloud)

Технический департамент
Санкт-Петербург, гибкий

Системный администратор Linux

Одноклассники
Санкт-Петербург, гибкий

Data Engineer (группа нейронных сетей)

Голосовые технологии (Маруся)
Москва, гибкий

Python-разработчик

Голосовые технологии (Маруся)
Москва, гибкий

ML Backend/Infrastructure в команду прикладных исследований ИИ

ВКонтакте
Санкт-Петербург, комбинированный

Аналитик краудсорса в команду контент-системы

Дзен
Москва, гибкий

Руководитель команды Compute

VK Cloud
Москва, гибкий

Продуктовый аналитик (опыт бизнеса)

VK
Москва, гибкий

Руководитель команды Storage

VK Cloud
Москва, гибкий

Разработчик инфраструктуры для разработки

Поиск
Москва, гибкий

Старший аналитик

Поиск
Москва, гибкий

SDET/DevOps в Tarantool

Tarantool
Москва, гибкий

Руководитель команды VDI

VK Cloud
Москва, гибкий

Аналитик

VK
Москва, гибкий

Python разработчик VK Музыка

ВКонтакте
Санкт-Петербург, гибкий

Python-разработчик в группу автоматизации NOC

Технический департамент
Москва, гибкий

DevOps

VK tech
Москва, офисный

Продуктовый аналитик (вертикаль Рост)

VK
Москва, гибкий

Python разработчик

VK Tax Compliance
Москва, гибкий

Технический менеджер проектов

Рекламные технологии и развитие СМБ
Москва, гибкий

Python разработчик RuStore

VK
Москва, гибкий

Системный аналитик ( VK Pay)

VK Pay
Москва, гибкий

Программист-исследователь

Рекламные технологии и развитие СМБ
Москва, гибкий

Python разработчик в команду BigData

VK Cloud
Москва, гибкий

Golang-разработчик в команду Calendar

Почта
Москва, гибкий

Golang-разработчик в команду SF Team

Почта
Москва, гибкий

Python-разработчик в команду автоматизации процессов

Департамент по экосистемным продуктам VK
Москва, гибкий

Python-разработчик в Команду интерфейсов

VK Реклама
Москва, гибкий

Ведущий Python-разработчик

VK Реклама
Москва, гибкий

Ведущий аналитик

Юла
Москва, гибкий

Старший разработчик машинного обучения (VK Видео)

ВКонтакте
Москва, гибкий