Big Data Platform Engineer, Москва
Задачи
- развитие платформы хранения и обработки больших данных.
У нас:
- big data: 4 hdfs кластера общим объемом ~100PB;
- high load: обслуживаем десятки тысяч серверов;
- high available: все сервера расположены в 5 разных дата центрах;
- не enterprise: разрабатываем решения, которые сами же и используем;
- stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
- lang: java, scala, python, bash.
Требования
- хорошее знание java/scala;
- опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.
Мы предлагаем
Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи
Одноклассники
Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок.
Мы предлагаем
Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи
Похожие вакансии
Инженер доступности сервисов / SRE
Эксплуатация Unix
Москва
Аналитик информационной безопасности
Delivery Club
Удаленно
Инженер по информационной безопасности
Технический департамент
Удаленно
ML-инженер
MY.GAMES
Москва
Разработчик в группу Автоматизации
Технический департамент
Удаленно
С-разработчик в команду Tarantool Language Runtime
Tarantool
Удаленно
Data Scientist (проект "Дискуссии")
Одноклассники
Санкт-Петербург
Python-разработчик с знанием Storage (команда IaaS)
VK Cloud Solutions
Удаленно
Python-разработчик (BI)
Delivery Club
Москва
System analyst / Data architect (DWH & BI)
Delivery Club
Москва
DevOps specialist (MCS Public Cloud)
VK Cloud Solutions
Удаленно
С++ разработчик
VK
Удаленно
С++ разработчик
Поиск
Москва
Go-разработчик
myTarget: рекламная платформа VK
Москва
DevOps/Unix-системный администратор
Whalekit
Удаленно
Python-разработчик в команду IaaS
VK Cloud Solutions
Удаленно
Go-разработчик в myTarget
myTarget: рекламная платформа VK
Удаленно
Python/Go-разработчик в команду PaaS (Runtime)
VK Cloud Solutions
Удаленно
DevOps инженер
Pixonic
Удаленно
Go-разработчик (команда IoT)
VK Cloud Solutions
Удаленно
Разработчик решений
Tarantool
Москва
Ведущий Python-разработчик в CXHub
Tarantool
Удаленно
Java разработчик (проект "Товарной платформы")
Одноклассники
Москва
Руководитель группы разработки PaaS
VK Cloud Solutions
Москва
Data Engineer
Одноклассники
Москва
SRE в MCS Private Cloud
VK Cloud Solutions
Удаленно
Hadoop developer (Big Data- аналитик)
Одноклассники
Санкт-Петербург
C++/Go разработчик
Myteam
Удаленно
Go-разработчик в инфраструктурную команду Почты
Почта
Москва
DevOps-инженер в публичное облако MCS
VK Cloud Solutions
Удаленно
C++ в умные устройства
Голосовые технологии (Маруся)
Удаленно
Ведущий аналитик Big Data
Почта, Поиск и Портал
Москва
DevOps-инженер
Delivery Club
Удаленно
Python/Go-разработчик в команду PaaS (DinApp)
VK Cloud Solutions
Удаленно
Python/Golang программист (команда myTarget)
myTarget: рекламная платформа VK
Москва
Эксперт по информационной безопасности
Одноклассники
Москва
Инженер информационной безопасности
VK Cloud Solutions
Удаленно