Задачи

• развитие платформы хранения и обработки больших данных.

У нас:

• big data: 4 hdfs кластера общим объемом ~100PB;
• high load: обслуживаем десятки тысяч серверов;
• high available: все сервера расположены в 5 разных дата центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
• lang: java, scala, python, bash.

Требования

• хорошее знание java/scala;
• опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.