Команда статистики Поиска и Маруси занимается сбором сырых данных различного рода (логи сервисов, оценки поисковых выдач и т.д.) с большого количества сервисов VK, в которых используются поисковые технологии, и превращает их в метрики и датасеты, с которыми удобно работать конечным пользователям. Объемы ежедневно обрабатываемых данных могут достигать сотни террабайтов. Мы ищем к себе в команду Python-разработчика.

Задачи

• Выстраивать удобные и эффективные витрины данных для аналитиков
• Развивать функционал наших пайплайнов обработки больших данных
• Участвовать в проектировании архитектуры новых сервисов
• Внедрять новые технологии в текущие сервисы
• Писать документацию, тесты, настраивать CI/CD

Требования

• Знание Python 3 на продвинутом уровне (Django, FastAPI, asyncio, multiprocessing)
• Опыт работы с СУБД Postgres
• Английский на уровне чтения документации
• Знание алгоритмов и структур данных

Будет плюсом

• Clickhouse
• JS (опыт работы с React)
• Java (на базовом уровне)
• Опыт обработки данных в экосистеме Hadoop (понимание модели MapReduce, умение работать с HDFS)