Завершился отбор заявок на хакатон MARKING HACK. MARKING HACK представляет собой хатакатон по созданию продуктов на основе данных из системы цифровой маркировки «Честный знак». К участию в конкурсе планировалось допустить 30 команд, но по итогам заявочной кампании количество расширили до 60, сообщили информационной службе Хабра в пресс-службе «Честного знака».
10 апреля сообщество AI Talent Hub и Передовая Инженерная Школа ИТМО запускают второй поток онлайн-курса My First Data Project по созданию реального продукта на данных с менторской поддержкой и возможностью поступить в магистратуру ИТМО без экзаменов.
Рассказываем, что нужно сделать!
Недавно прошёл наш первый онлайн митап Х5 Data Science Meetup. Мы говорили о том, чем занимается математик в ритейле, про адаптацию ML-моделей под изменение поведения пользователя на примере умной колонки, а также о том, как освободить сотрудников от классификации обращений на 1000+ классов. Выкладываем здесь запись презентаций наших спикеров.
26 апреля проводим первый X5 Data Science Meetup. На нём поговорим про Data-спецназ X5 Tech, о том, чем занимается математик в ритейле, про адаптацию ML-моделей под изменение поведения пользователя на примере умной колонки, а также о том, как освободить сотрудников от классификации обращений на 1000+ классов.
5 июля мы проводим X5 Data Science Meetup #2. В этот раз поговорим о том, как с помощью PySpark Pipeline писать читаемый, легко тестируемый и поддерживаемый код, про квази-эксперименты методом Propensity Score в кейсах, где нельзя провести стандартный A/B-тест, и про подходы распознавания жестового языка.
Привет, Хабр!
Новый выпуск уже доступен к прослушиванию!
Новые тенденции, истории про "тазы" в Бауманке и советы по Work-life balance в новом выпуске с Виталием Щербаковым - директором по большим данным и развитию дата-продуктов МегаФона 💚💚💜
Присоединяйся к нашему сообществу @bigdatapeople В группе мы общаемся с интересными людьми из сферы анализа данных и искусственного интеллекта.
Приятного прослушивания!
ChatGPT захватил мир! Школьники используют его для решения домашних заданий, разработчики — для написания программного кода, а копирайтеры — для избавления от страха чистого листа.
Интерес к нейронным сетям растёт и со стороны работодателей. Лидеры спроса на специалистов этого направления в России — IТ и финансовый сектор, а также креативные индустрии.
Узнать больше о том, как устроен ChatGPT и как превратить создание нейросетей в свою профессию, вы можете 20 апреля в 19:00 (МСК) на бесплатном занятии «Как начать работать с нейросетями и создать свой ChatGPT».
Привет, я Андрей Качетов, Head of ML Operations в Альфа-Банке. Отвечаю за опромышливание всех ML-моделей в банке, строю новую платформу MLOps, а также формирую единый подход для работы с модельными данными (Feature Store).
В статье, без картинок с «бесконечностями» Ops’ов, расскажу, как может выглядеть полноценный конвейер MLOps, что умеет и немного о том, как мы пришли к максимальной автоматизации процесса вывода моделей в промышленную эксплуатацию.
The most important stage in the data science process is feature engineering, which entails turning raw data into useful features that might enhance the performance of machine learning models. It calls for creativity, data-driven thinking, and domain expertise. Data scientists can improve the prediction capability of their models and find hidden patterns in the data by choosing, combining, and inventing relevant features. Handling missing data, scaling features, encoding categorical variables, constructing interaction terms, and other procedures are examples of feature engineering techniques. The best practises involve investigating the data, testing and improving features iteratively, and applying domain knowledge to draw out important information. The accuracy and effectiveness of machine learning models are significantly influenced by effective feature engineering.
Меня зовут Антон Денисов, я руководитель аналитиков больших данных в X5 Tech. В этой статье расскажу, с какими сложностями сталкиваются нанимающие менеджеры в сфере Data Science в условиях интенсивного процесса найма сотрудников, а также продемонстрирую, к какому виду мы привели процесс собеседований и найма аналитиков больших данных в X5 Tech.
Разберем популярные паттерны проектирования ML-систем для ответа на следующие вопросы:
1. Какой способ выбрать для деплоя модели в production?
2. Как затащить составной ML-пайплайн в real-time сервис?
3. Каким способом тестировать новую версию модели?
Доброго времени суток, уважаемые читатели! Сегодня мы вновь рады приветствовать вас в увлекательном мире дата-сайентистов банка "Открытие". На связи Иван Кондраков, Константин Грушин и Станислав Арешин. Недавно мы поделились с вами нашим пайплайном разработки линейных моделей для решения задач бинарной классификации. Теперь же мы решили поведать о нашем опыте построения моделей градиентного бустинга. За последнее время команда проделала колоссальную работу: мы протестировали различные методы отбора факторов, нашли новые инсайты в данных, провели интересную (а, главное, полезную!) аналитическую работу и решили несколько Ad-hoc задач. Зовите всех к экранам, мы начинаем!
Целью данной статьи является описание моей квалификационной работы при получении профессии Data Scientist. Поскольку профессиональная деятельность до этого не была прямо связана с направлением ML, тема итоговой работы получилась несколько академической.
Как известно, для успешной работы системы детекции и классификации (СДК) с применением технологии компьютерного зрения необходим большой объем данных, в том числе разметка объектов на изображении. Такая предварительная подготовка трудоемка и длительна. До сих пор работа по разметке объектов для создания обучающей выборки проводится в ручном режиме, хотя уже применяется и определенная автоматизация. Один из возможных вариантов такой автоматизации и был рассмотрен в работе.
Всем привет! Это моя первая статья на Хабр (поэтому не судите строго).
Дело было так: смотрел я как-то в окно и увидел, как человек сидит в машине на парковке и ждет, когда освободится парковочное место. Бывает, что и я сижу в машине и жду, когда же можно будет припарковать своего верного коня. И тут я подумал, а почему бы не подключить Компьютерное Зрение для этого? Зачем я учился разработке нейросетей, если не могу заставить компьютер работать вместо меня?
Изначально идея заключалась в следующем: Модель на базе компьютерного зрения должна через веб-камеру, установленную дома, отслеживать освободившиеся места на парковке и информировать через telegram-бота если такое место появится. Работать будем на Python.
Итак, ТЗ для меня от меня сформулировано, теперь за дело!
Первое с чем необходимо было определиться, это решить, какую модель детектирования объектов использовать. Сначала мой выбор пал на Fast R-СNN. Модель показывала хорошее качество детектирования. Однако после нескольких дней прокрастинации обдумывания реализации я решил воспользоваться более современными и интересными методами и подключить детектор от YOLO (взял не самую новую 4 версию).
Перед тем как проводить исследования на данных, нужно исследовать сами данные. Достаточно ли их для анализа, какие гипотезы и факторы влияют на результат, а какие — чистая рулетка? На эти вопросы отвечает исследование данных — Exploratory Data Analysis (EDA). Его rdl by red_mad_robot и проводил для «АгроТерры».
Открыт приём заявок на новый поток Академии Аналитиков Авито. В этом году мы набираем студентов сразу на два направления: будем учить аналитиков данных и Data Science-инженеров. Обе программы бесплатные.
Подать заявку можно до 13 июня. Занятия начнутся в сентябре, а вся программа продлится 13 месяцев — до конца сентября 2024 года. За это время студенты-аналитики освоят основные навыки от прикладной статистики и SQL до ML и теории экспериментов. Будущие DS-инженеры тоже разберутся с ML, а также алгоритмами и датасетами.
Привет, Хабр! В этой статье разберём, что такое метрики отношения. Узнаем, почему критерий Стьюдента не работает. Попробуем применить бутстреп к зависимым данным. Изучим дельта-метод — способ оценки А/Б тестов с метрикой отношения.
