Тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. Мы стремимся сделать единую точку аналитики в VK и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее.

Наш стек - это hadoop, kafka, spark, clickhouse, postgres. Часть сервисов сервисы написаны на Python, деплоятся в Kubernetes с использованием GitLab CI и puppet.Мы автоматизируем различные сценарии для удобной работы с данными.Для аналитики используются данные размером десятки петабайт.

Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK.

Задачи

• администрирование приложений стека Hadoop (HDFS, Hive, YARN, Spark, Hue) и сервисов вокруг (FreeIPA, Jupyter, KVM);
• администрирование распределенных БД (Vertica, Clickhouse);
• внедрение дистрибутива Hadoop, разработанного в VK;
• аудит и анализ существующих инсталляций Hadoop;
• создание документации и инструкций

Требования

• опыт работы с Configuration Management инструментами (Puppet/Ansible/Salt);
• опыт администрирования и траблшутинга приложений стека Hadoop (HDFS, Hive, YARN);
• опыт администрирования Linux (Centos);
• опыт написания скриптов автоматизации (Bash/Python)

Будет плюсом

• опыт настройки и эксплуатации нескольких кластеров Hadoop, объединенных в федерацию;
• опыт интеграции LDAP/Kerberos с приложениями стека Hadoop (HDFS, Hive, YARN);
• опыт работы с Vanilla Hadoop;
• опыт работы с виртуализацией;
• опыт работы с Docker, k8s;
• опыт работы с git;
• опыт работы с Apache Kafkа