Data Engineer

SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Сейчас в команду мы ищем Data Software Engineer.

Обязанности:

• Написание пайплайнов передачи данных с помощью Airflow и алгоритмов автоматической доставки данных от поставщиков данных до потребителей по заданным регламентам;
• Развертывание, настройка и системное администрирование продуктов;
• Участие в разработке solution архитектур;
• Участие в автоматизации развертывания и интеграции продуктов в контурах компании;
• Консультации по разработанным решениям.

Требования:

• Знание и опыт работы с продуктами стека Big Data (как минимум одно из: Spark,NiFi,Hadoop,Airflow), включая развертывание, настройку, создание промышленных приложений и интеграцию в enterprise среде;
• Умение писать эффективный код на Python;
• Понимание основ облачных технологий и технологий виртуализации и контейнеризации;
• Знание SQL;
• Опыт работы с популярными РСУБД (pgsql, mysql/mariadb, желательно Oracle), включая развертывание и настройку;
• Знание основ администрирования ОС Linux;
• Понимание основ TCP/IP и сетевых протоколов.

Плюсом будет:

• Практический опыт с автоматизацией развертывания ПО;
• Построение пайплайнов с помощью Airflow;
• Знание backend-разработки: Java/Spring или Golang;
• Знание средств автоматизации развертывания (Ansible, Puppet, etc.);
• Опыт администрирования РСУБД.

Условия:

• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС, страхование жизни;
• Самые инновационные, амбициозные проекты и задачи;
• Свободный дресс-код;
• Гибкий график для оптимального баланса работы и личной жизни;
• Льготные кредиты и корпоративные скидки;
• Конкурентная компенсация (оклад и премии по результатам деятельности).