Dima Kotobotov

разработка платформы по анализу данных

разработка платформы для анализа данных (сбор и обработка кредитной истории + скоринг + система отслеживания важных изменений в кредитной истории в режиме реального времени).
часть продукта работает в реалтайме, часть продукта работает в пакетном режиме.

стэк: scala, akka, flink, cloudFlow, spark, hadoop, hdfs, hive, kubernetes

задачи: работа с dwh, big data, разработка маркетинговой платформы для Аэрофлота (персонализация услуг, анализ пользователей, анализ рынка, динамическое ценообразование)

создание модулей для расчета метрик по которым оценивались пользователи, обогащение данных из внешних систем, создание витрин данных на основе результатов. 

Поддержка и развитие проекта для крупнейшей фармацефтической компании в мире (ЦРМ + экспертная система анализа рисков заболевания)

стэк: scala, akka, postgreSQL, slick

задача проекта: автоматическое формирование рекламной компании для директ (и других рекламных каналов)

описание: вбиваешь адрес своего сайта, и получаешь сформированную рекламную компанию которую можно импортировать в яндекс.директ

разработка: с нуля, включая сбор данных, обучение, (в обучении было собрано и обработано более 2х миллиардов запросов из поисковых систем, сотни миллионов объявлений, разработана рекомендательная система, часть данных предобработанна, часть данных в реальном времени парсится и собирается с внешних источников. 

на текущий момент: создан под ключ сервис, фронтэнд + бэкенд + разработанны модели рекомендательных систем. получение результата происходит в течении 15 секунд, в режиме реального времени можно расширять и сокращать выборки в зависимости от точности подбора) 

выстроен процесс - непрерывный процесс интеграции используя gitlab, sbt, doker

Поднята и настроена инфраструктрура под проект

tech stack: scala, play-framework, spark, akka, mongo, angular, gitLab

prepare and preprocessing data from logs of car's CAN interface. i was creating "driver profile" of the person.Participation: Creating "driver profile" of the person. Generating and validate idias about what kind of model we could use, how to create that models, what kind of data we have to find from logs and so on.

Our goals was - figure out how to identify person from data what we have.

tech stack: java, spark

Стартап (аналитика подсчета полной стоимости владения машиной) - разработка проекта под ключ, как бэкенд (scala, play framework, mongo) так и фронтэнда (angular + foundation) проведён большой объем по сбор данных по машинам,параметрам, дополнительным сервисам. Проработана реализована архитектура сервиса, его подача, взаимодействие с пользователем(сервис продолжает развиваться).сервис оценивает полную стоимость владения машин, учитывает скорость падения стоимости машины (на основе статистических данных по конкретным машинам), учитывает основные параметры, типа налогов, расходы на бензин, тех обслуживание (для каждой марки и отдельной модели собраны данные), даже шиномонтаж (в зависимости от размеров дисков, и марки шин), учитывается стоимость осаго, каско, можно выбрать кредит (и компанию в которой получать), есть данные по страховым компаниям.

tech stack: scala, play-framework, combinatory parsers

social network targeting service

Разработка обновлённой версии сервиса (по мере роста старая версия не укладывалась в возможности инфраструктуры и необходимые требования для качественной работы).

Мной была полностью разработана новая версия сервиса, используя Java+Scala / Akka / Play / Mongo на бэкенде. 

также разработано удобное Api для интеграции, для которого я реализовал фронтэд на AngularJS.при разработке -> старой структуры данных, как бутылочного горлышка, перешли на использования персистентных списков, что позволило повысить эффективность использования памяти, Для оптимизации скорости перенести большую часть операций в оперативную память, а за счёт последующей оптимизации алгоритмов получилось сократить в 3 раза количество необходимых серверов, при этом скорость сбора данных увеличилась более чем в сотню раз (больше работы с оперативной памятью, меньше io с жёсткими дисками, меньше взаимодействий между серверами, все стало более локально, некоторые задачи были объединены и стали выполняться одновременно/параллельно, например поиск новых пользователей с поиском перекрёстных пользователей групп)

маленькая веб студия, занимался разработкой внутренних сервисов, работал с клиентами, исполнителям и сайтики делал. Еще занимался рекламой, директом, таргетингом в вк и тд. 

Типовая работа человека оркестра в простых проектах, для не прихотливых заказчиков.

до этого тоже лет 5-6 в вебстудиях и на фрилансе на задачах типа разработки, наполнения, продвижения сайтов, координации работы.