Python-разработчик (Data Engineer), Москва

Команда Data office агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объемы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.

Мы ищем Python-разработчика, готового принять участие в построении разработки и сопровождении хранилища данных Data Office. Команда занимается построением процессов потребления данных на всех этапах их трансформации ― от собранных сырых данных до монетизации полученных знаний.

Наш стек технологий: Python, Hadoop, Vertica, Clickhouse. Разработка по якорной модели.
Процессы: Data Vault.

Задачи

• построение системы обработки и хранения разнородной информации одного из e-commerce бизнес-юнитов холдинга;
• исследование большого объема необработанных данных, накопленных в бизнес-юните, работа с потребителями этих данных, умение слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
• построение и оптимизация нетривиальных ETL-процессов обработки данных, участие в построении процессов потребления данных на всех этапах их трансформации ― от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
• разработка и проектирование OLAP-кубов и витрин для аналитиков, участие в полном цикле построения BI-решений ― проектирование, разработка, поддержка, развитие;
• взаимодействие с командой Data Scientist'ов и совместная реализация стабильного расчета математических моделей;
• поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования

• опыт разработки на Python― от 2 лет;
• широкий опыт работы с различными СУБД;
• глубокое понимание работы как минимум одной из MySql, Tarantool, Clickhouse, GreenPlum, Vertica HP;
• умение оптимизировать процессы обработки данных.

Мы предлагаем