Data-инженер (команда Big Data Infrastructure), Санкт-Петербург
Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Она построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.
Самая большая социальная сеть России - самая большая Big Datа!
Kafka: ~1PB
HDFS: ~50PB
Clickhouse: ~3PB (nvme)
Для нас важно отлично разбираться в любом из этих инструментов. Любим Spark. Пишем на любых языках, но особенно на Java/Scala и Python.
Стек: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse, Python, Java, Scala.
Задачи
- развивать платформу хранения и обработки больших данных;
- внедрять новые инструменты для анализа данных и машинного обучения;
- решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
- строить новые и оптимизировать существующие ETL-процессы.
Требования
- хорошее знание Java/Scala, Python;
- знание принципов работы баз данных, распределенных систем хранения и обработки данных;
- опыт работы и понимание внутреннего устройства: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse.
Мы предлагаем
Формат работы
Уровень
График работы
ВКонтакте
ВКонтакте — один из самых высоконагруженных проектов рунета. В сутки у нас бывает до 30 релизов и 125 миллиардов запросов к API. Всё это вытягивает небольшая команда разработчиков, где каждый — суперпрофессионал, который нашёл интересные для себя задачи.
Мы предлагаем
Похожие вакансии
BI/DWH-разработчик
Data engineer
Data-инженер
Data Engineer
Data scientist/Разработчик-исследователь (NLP)
Аналитик данных (ОРД)
Руководитель команды Big Data Infrastructure
Системный администратор (DWH)
Аналитик данных, Predict
Big Data Platform Engineer
Продуктовый аналитик
Data Scientist (Антиспам)
Data engineer
Data Engineer
Руководитель команды машинного обучения (VK Видео)
Data Engineer