Задачи

• в рамках проекта уже используются различные технологии: Hadoop и Spark для работы с большими данными, Spark ML, scikit-learn, XGBoost и не только для машинного обучения, TensorFlow для обучения нейросей и т.д.
• из алгоритмов – это и разнообразные алгоритмы классификации, кластеризации, факторизации стохастические обходы графов и т. д.
• основной целью является интеллектуальный анализ данных портала (статистика активности, метаинформация, мульти-медиа контент и т. д.) и использование найденных корреляций для улучшения user experience (персонализация контента, рекомендации, поиск информации).
• важной особенностью проекта является наличие внутренней системы краудсорсинговой разметки данных (фото, тексты, видео), активно используемой при подготовке датасетов для обучения моделей.

Требования

• повышенный интерес к системам интеллектуальной обработки информации, методам их разработки и областям применения, знания и опыт приветствуются;
• отличная математическая подготовка (непрерывный и дискретный анализ, теория вероятности и статистическая обработка данных, принципы работы алгоритмов и структур данных);
• знакомство с принципами разработки промышленных высоконагруженных систем с широкой аудиторией (планирование, тестирование, внедрение);
• опыт Java/Scala программирования приветствуется;
• креативный подход к работе и жизни, способность к обсуждению своих и чужих идей.