Дзен — это блог-платформа и сервис персональных рекомендаций. Здесь есть статьи, видео, галереи от блогеров и популярных медиа.
Грамотный и структурный подход к сбору и обработке данных — важный фактор роста и развития Дзена. В команде Инфраструктуры статистики мы создаем сервисы, в задачи которых входят обработка и поставка всех клиентских событий и клиентской статистики; строим инфраструктуру подготовки данных для аналитики и А/Б-тестирования.
Нагрузка на отдельные микросервисы >50 k RPS, ежедневная обработка данных исчисляется сотнями терабайт, а объемы распределенного файлового хранилища насчитывают десятки петабайт.

Если тебе интересно изобретать что-то новое и наблюдать быстрый импакт от проделанной работы — будем рады пообщаться!

О нас:

• пишем на Java 17, следим за новыми версиями и регулярно обновляемся. Так же точечно в инфраструктуре используется Python, NodeJS и C++;
• для хранения данных мы используем распределенное файловое хранилище YT, ClickHouse, Cassandra, Postgres, MongoDB, YDB, Redis;
• для обработки, трансформации и поставки данных: Map-Reduce (над YT), очереди, трансферы Yandex Data Transfers между хранилищами, а также большое количество собственных технологий офлайн-контура, написанных на Java.

Задачи

• строить большой DWH;
• разрабатывать и улучшать сервисы: 

- по раздаче статей

- отвечающий за работу подписки

- ленты каналов и др.;

• разрабатывать высоконагруженную систему;
• работать с микросервисной архитектурой;
• тестировать собственный код.

Требования

• уверенное владение Java (или любым другим ООП языком и готов перейти на Java);
• знание основных алгоритмов и структур данных — aka CS 101;
• опыт работы с высокой нагрузкой и распределенными хранилищами (большим плюсом будет опыт работы с Hadoop и его экосистемой) или хочешь такой опыт приобрести;
• знаком с популярными NoSQL-решениями;
• готов к вызовам и сложным техническим задачам.