Data Engineer, Москва
Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов VK (Почта, Медиапроекты, Облако, Звонки, Маруся и др.).
А также разработкой сервисов для решения различных бизнес-задач с этими данными. В данный момент наш вычислительный кластер хранит десятки петабайт данных.
Для нас важен большой опыт Python-разработки. У нас много разноплановой разработки, часть из которой связана с железом. На проекте используются реляционные базы данных, Hadoop, Spark, Airflow, bash.
Задачи
- разработка и сопровождение хранилища данных Экосистемы VK;
- разработка DWH платформы;
- автоматизация ETL-процессов;
- создание новых пайплайнов.
Требования
- навыки разработки на Python;
- опыт работы с реляционными СУБД;
- отличное знание SQL, понимание как работают индексы, опыт оптимизации запросов;
- умение писать код, решать алгоритмические задачи.
Будет плюсом
- имеется представление о работе аналитических СУБД и MPP-систем (Vertica, ClickHouse или др.);
- знание методологий проектирования Хранилищ Данных;
- опыт разработки потоков данных на Airflow;
- опыт работы со стеком Hadoop (Spark/Scala).
Мы предлагаем
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Формат работы
комбинированный
дистанционный
Уровень
middle
senior
График работы
полный
VK Cloud
VK Cloud — это платформа облачных сервисов для бизнеса и разработчиков. С 2018 года мы развиваем облачные сервисы по модели as-a-service. Клиенты пользуются сервисами в публичном облаке или заказывают частные инсталляции.
Мы предлагаем
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда
Похожие вакансии
Ведущий Python-разработчик в Scrooge
VK Cloud
дистанционный
Продуктовый аналитик
ВКонтакте для бизнеса
Москва, гибкий
Бизнес-аналитик
VK tech
Москва, комбинированный
Аналитик данных (ОРД)
Рекламные технологии
Москва, гибкий
Go-разработчик
Рекламные технологии
Москва, гибкий
Data engineer
PREDICT
Москва, гибкий
Аналитик DevPlatform
VK Cloud
Москва, гибкий
Функциональный архитектор
VK tech
Москва, гибкий
Product analyst (VK Музыка)
VK
Москва, гибкий
Системный администратор Linux / SRE (Мессенджеры)
Технический департамент
Москва, гибкий
Руководитель отдела информационной безопасности (cloud)
Технический департамент
Москва, гибкий
Python-разработчик в команду Workspace
VK WorkSpace
Москва, гибкий
Аналитик данных, Predict
PREDICT
Москва, комбинированный
Team Lead в отдел разработки NOC
Технический департамент
Москва, гибкий
Data Engineer
Проект myTracker
Москва, гибкий
Fullstack-разработчик
Data office
Москва, гибкий
Системный администратор (mac)
Технический департамент
Москва, гибкий
Big Data Platform Engineer
Одноклассники
Санкт-Петербург, гибкий
Python-разработчик
VK People Hub
Москва, комбинированный
Старший Python разработчик в команду BigData
VK Cloud
Москва, гибкий
Ведущий аналитик по монетизации
Почтовые сервисы
Москва, комбинированный
Python/Go-разработчик
PREDICT
Москва, гибкий
Инженер по автоматизации тестирования
VK Teams
Санкт-Петербург, гибкий
DevOps-инженер
VK tech
Москва, комбинированный
Продуктовый аналитик
Рекламные технологии
Москва, гибкий
Senior QA Manual
myTarget: рекламная платформа VK
Москва, гибкий
Ведущий Python-разработчик
myTarget: рекламная платформа VK
дистанционный
Инженер по автоматическому тестированию (backend) в Почту
Почта
Москва, гибкий
Программист-исследователь
Рекламные технологии
Москва, гибкий
Team lead на C++
myTarget: рекламная платформа VK
Москва, гибкий
Руководитель команды Big Data Infrastructure
ВКонтакте
Санкт-Петербург, гибкий
Python-разработчик в отдел Статистики Поиска и Маруси
Голосовые технологии (Маруся)
Москва, гибкий
Разработчик C++ (Новости)
Дзен
Москва, гибкий
Python разработчик в команду General Billing
VK Cloud
Москва, гибкий
Python-разработчик
Рекомендательные сервисы
Москва, гибкий
Системный администратор (DWH)
Технический департамент
дистанционный
BI/DWH-разработчик
VK Play
Москва, гибкий
Data Scientist
VK Play
Москва, гибкий
Data-инженер
VK Play
Москва, гибкий
Python-разработчик в команду Scrooge (VK CS)
VK Cloud
Москва, гибкий
Ведущий эксперт / Отдел DevSecOps
Информационная безопасность
дистанционный
Python разработчик (видеохостинг)
Дзен
Москва, гибкий
Старший аналитик
Коммерческий департамент
Москва, комбинированный
Python разработчик
VK Compliance
Москва, гибкий
Программист-исследователь
Голосовые технологии (Маруся)
Москва, гибкий
Python разработчик в команду IaaS сервисы
VK Cloud
Москва, гибкий
Python разработчик в команду SDN IaaS
VK Cloud
Москва, гибкий
Ведущий Python-разработчик в Scrooge в VK Cloud
VK Cloud
Москва, гибкий
Data-аналитик
Дзен
Москва, гибкий
Программист-исследователь (NLP)
Голосовые технологии (Маруся)
Москва, гибкий
Системный администратор Linux / SRE
Технический департамент
Москва, гибкий
Руководитель команды DevPlatform
VK Cloud
Москва, гибкий
Инфраструктурный Python разработчик в команду IaaS Network VK CS
VK Cloud
Москва, гибкий
Архитектор решений
VK
Москва, комбинированный
Data scientist / Machine learning engineer (команда CoreML ВКонтакте)
ВКонтакте
Москва, гибкий
Product analyst R&D
ВКонтакте для бизнеса
Москва, гибкий
Руководитель отдела разработки инфраструктуры
Голосовые технологии (Маруся)
Москва, офисный
Инженер по информационной безопасности (Инфраструктура)
Информационная безопасность
Москва, гибкий
Senior DevOps-инженер
VK tech
Москва, гибкий
Data engineer
Data office
Москва, гибкий
Системный администратор Linux
Одноклассники
Санкт-Петербург, гибкий
Data scientist/Разработчик-исследователь (NLP)
Data office
Москва, гибкий
Python разработчик
VK Карты
Москва, гибкий
Руководитель команды Compute
VK Cloud
Москва, гибкий
Руководитель команды Storage
VK Cloud
Москва, гибкий
Аналитик / VK Карты
VK Карты
Москва, гибкий
Golang-разработчик в команду SF Team
Почта
Москва, гибкий
Senior Go-разработчик
VK Teams
Москва, гибкий
Руководитель команды VDI
VK Cloud
Москва, гибкий
Python разработчик VK Музыка
ВКонтакте
Санкт-Петербург, гибкий
DevOps
VK tech
Москва, офисный
Solution architect
VK Compliance
Москва, гибкий
Продуктовый аналитик / VK Messenger
ВКонтакте
Москва, гибкий
Продуктовый аналитик
VK
Москва, гибкий
Weekend Offer Маруся/Почта/Облако
VK
Москва, комбинированный
GO-разработчик
Технический департамент
Москва, гибкий
Data-инженер (команда Big Data Infrastructure)
ВКонтакте
Санкт-Петербург, гибкий
QA Manual / ОРД
myTarget: рекламная платформа VK
Москва, гибкий
Python разработчик RuStore
VK
Москва, гибкий
Младший системный аналитик
Рекламные технологии
Москва, гибкий
Data analyst (группа разработки рекламного сервера)
Рекламные технологии
Москва, гибкий
Python разработчик в команду BigData
VK Cloud
Москва, гибкий
Golang-разработчик в команду Calendar
Почта
Москва, гибкий
Сервис инженер / SRE (Private Cloud)
VK Cloud
Москва, гибкий
Python-разработчик
Голосовые технологии (Маруся)
Москва, гибкий
Руководитель команды аналитики
ВКонтакте для бизнеса
Москва, гибкий
Data Scientist (Антиспам)
Одноклассники
Санкт-Петербург, гибкий
Руководитель команды машинного обучения (VK Видео)
ВКонтакте
Москва, гибкий
Data Engineer
Рекламные технологии
Москва, гибкий