Data-инженер (команда Big Data Infrastructure), Санкт-Петербург
Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Она построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.
Самая большая социальная сеть России - самая большая Big Datа!
Kafka: ~1PB
HDFS: ~50PB
Clickhouse: ~3PB (nvme)
Для нас важно отлично разбираться в любом из этих инструментов. Любим Spark. Пишем на любых языках, но особенно на Java/Scala и Python.
Стек: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse, Python, Java, Scala.
Задачи
- развивать платформу хранения и обработки больших данных;
- внедрять новые инструменты для анализа данных и машинного обучения;
- решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
- строить новые и оптимизировать существующие ETL-процессы.
Требования
- хорошее знание Java/Scala, Python;
- знание принципов работы баз данных, распределенных систем хранения и обработки данных;
- опыт работы и понимание внутреннего устройства: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse.
Мы предлагаем
Формат работы
Уровень
График работы
ВКонтакте
ВКонтакте — один из самых высоконагруженных проектов рунета. В сутки у нас бывает до 30 релизов и 125 миллиардов запросов к API. Всё это вытягивает небольшая команда разработчиков, где каждый — суперпрофессионал, который нашёл интересные для себя задачи.