Наша команда занимается разработкой Объектного хранилища (S3) для VK Cloud Storage.

Мы разрабатываем отказоустойчивое S3-совместимое хранилище данных, используя подходы микросервисной архитектуры. В основе нашего решения лежит In-memory платформа Tarantool. Уже сейчас мы храним десятки миллиардов пользовательских файлов объемом более 150 Петабайт и продолжаем расти.

Используя накопленный нами опыт и знания работы высокопроизводительных, распределенных систем, мы помогаем крупным Enterprise-заказчикам надежно хранить и обрабатывать большие объемы данных.

Задачи

• Исследование и тестирование популярных технологий для развития VK Cloud Storage: AWS S3, Nginx, Kong, ETCD
• Приложения-клиенты S3 (ClickHouse, LakeOS, Nexus, fuse, s3cmd, java SDK, golang SDK).
• Развитие продукта для упрощения внедрения и эксплуатации у Enterprise-заказчиков;
• Интеграции с системами мониторинга;
• Организация журналирования жизнедеятельности;
• Интеграции с системами развертывания (ansible, terraform);
• Разработка утилит управления решением;
• Доработка SaaS и коробочной версии S3;
• Проектирование и реализация нового функционала;
• Поддержка и развитие существующих инсталляций.

Научим:

• Использовать TDD подход в разработки распределенных систем;
• Разрабатывать распределенные системы при помощи СУБД Tarantool;
• Проведению нагрузочного тестирования;
• warp, weighttp, wrk, go bench;
• Разработка собственных утилит;
• Разрабатывать катастрофоустойчивые системы;
• Писать статьи на Хабр и выступать на конференциях.

Требования

• Знание высокоуровнего языка программирования (golang, lua, perl, python);
• Git / Docker;
• Желание научиться разбираться в распределенных системах;
• Базовые знания алгоритмов и структур данных;
• Понимание работы асинхронного событийного цикла.