Машинное обучение *

Недавно перед командой аналитики подбора преподавателей встала задача усовершенствования модели матчинга учеников преподавателей. Перед вами статья о том, как мы это делали.

В предыдущей статье мы уже подробно рассмотрели процесс разметки семантической сегментации в CVAT. Сейчас я подробнее расскажу по NER-разметку в другом популярном open source инструменте Label Studio

Предупреждаю, статья в первую очередь направлена на новичков, которые делают первые шаги в разметке данных. Как и в прошлый раз мы шаг за шагом пройдем путь от установки и настройки проекта до экспорта уже размеченного датасета.

В процессе будем подробнее останавливаться на нюансах связанных с извлечением именованных сущностей и рекомендациях из личного опыта.

Привет, Хабр! Меня зовут Олег, я работаю с машинным обучением в VK Видео, внедряю нейросети в Клипы ВКонтакте для создания эффектов дополненной реальности. В статье расскажу, как запустить TensorFlow Lite сетку с передачей GPU-буферов — как входного, так и выходного. Этот подход помогает сэкономить на пересылке данных между CPU- и GPU- памятью, когда данные уже находятся в GPU-памяти и модель применяется с помощью GPU-делегата TensorFlow Lite. 

Весь процесс покажу на примере реализации для Android, код можно найти в моём GitHub-репозитории.

Меня зовут Александр Терехов, я работаю инженером группы классификации и диагностики (КиД) в самарском филиале «Инфосистемы Джет». Несколько лет назад я помогал девушке с дипломной работой, и мы создали чат-бота с психологическим уклоном — он тестировал типы личности и темпераменты. Тогда я настолько проникся этим опытом, что, когда начал создавать чат-бота для нужд технической поддержки, решил добавить в него немного психологии. Так появилась Луна — чат-бот, который помогает в работе инженерам «Инфосистемы Джет» и реагирует на эмоции.

Решаем задачу о ранце. Муравьиный алгоритм или генетический лучше? Давайте разбираться.

Я хочу рассказать вам историю команды Омега. Я собираюсь рассказать о некоторых событиях, которые, вероятно, произойдут в недалеком будущем. Команда Омега состоит из талантливых людей. Эти люди были выбраны харизматичным генеральным директором компании после того, как они по очереди прошли собеседование. Идеалистическая группа исследователей, инженеров и разработчиков программного обеспечения, которые являются лучшими в своих областях. Их целью было помочь человечеству. Но их миссия была слишком опасной. Если код, который они разрабатывали, попадет в руки не тех людей, это может привести к очень плохим результатам. Так в свое время объединились самые умные умы мира для «Манхэттенского проекта». Но что же все-таки произошло? Появилось ядерное оружие, и в мировых войнах человечество было практически уничтожено.

Они назвали искусственный интеллект «Прометеем». Он отличался от примеров «узкого искусственного интеллекта», которые до этого разрабатывали другие технологические компании. Команда Omega разрабатывала Prometheus как «общий искусственный интеллект». Возможно, ему не хватало социальных навыков, которые сейчас есть у людей, но они работали, чтобы быть лучшим в чем-то. У Прометея была возможность программировать другие системы ИИ. Они хотели, чтобы это было похоже на машину, которая может проектировать машину. Если бы он мог развить лучший интеллект, чем он сам, он мог бы научиться другим вещам, которые ему понадобятся со временем, используя этот интеллект. 

В 09:00 пятничного утра команда Omega решила запустить написанный ими код, а именно «Прометей», и нажала кнопку. Прометей начал работать на компьютере в хорошо проветриваемом закрытом помещении. Они не подключали его к Интернету из соображений безопасности. Но они разместили копии некоторых сайтов в Интернете на жестких дисках рядом с собой. Википедия, несколько каналов с YouTube, несколько страниц из Twitter и Facebook… Он использовал эту информацию для самообразования. Такого рода выборочные данные были необходимы для метода машинного обучения, который другие компании используют уже много лет. 

Искусственный интеллект сейчас в тренде, каждый год появляется огромное количество технологий, которые двигают эту отрасль дальше. Неудивительно, что возможности ИИ активно применяют во многих сферах бизнеса. Давайте поговорим о том, как применяют ИИ и какие интересные решения есть в разных сферах. Перечислить все невозможно, поэтому затронем только наиболее известные или важные.

В мире каждый день появляется много нового, все чаще возникают новые предметные области, о возможности появления которых мы даже не задумывались еще несколько лет назад. При этом старые предметные области уходят, не выдержав конкуренции. Каждая предметная область характеризуется прежде всего специальными знаниями, описывающими объекты этой области и их свойства. Практическое использование таких знаний является уделом экспертов. Собственно, в обладании такими знаниям и состоит профессиональная компетентность эксперта. Однако оставаться всезнающим экспертом в наши дни становится все сложнее...

Тема линейной регресии рассмотрена множество раз в различных
источниках, но, как говорится, "нет такой избитой темы, которую нельзя
ударить еще раз". В данной статье рассмотрим указанную тему, используя
как математические выкладки, так и код python, пытаясь соблюсти баланс
на грани простоты и должном уровне для понимания математических основ.

Привет, Хабр! В конце 2020 года мы в ЕВРАЗе поставили цель — научиться лучше прогнозировать и предотвращать отказы установок непрерывного литья заготовок. Для этого мы обратились к Data Science и в этой статье хотим поделиться подробностями проекта. Расскажем о подходе к построению предиктивной модели, процессе разработки, ну и конечно, о том, что из всего этого вышло.

Добро пожаловать в конвертерный цех!

Привет, Хабр! Меня зовут Ван, я возглавляю отдел машинного обучения и матчинга торговой площадки Ozon. В нашем IT работает более ста DS-специалистов, чьи алгоритмы ежедневно обрабатывают сотни терабайтов данных для решения важных бизнес-задач и не только. В процессе работы наших алгоритмов задействованы Python, Scala, Go, Hadoop, Spark, PostgreSQL, Kafka и ещё много разных хранилищ и фреймворков.

Чаще всего цели наших ML-алгоритмов в IT-индустрии пересекаются, но технологические траектории достижения результата могут значимо отличаться. На встрече мы поделимся опытом и с коллегами из Яндекс.Маркета, AliExpress Россия и Циан выступим с докладами:

— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop

— Го обсудим: продакшен ML на Golang

— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса

— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру

После докладов на круглом столе обсудим процессы и роли в ML-командах крупных IT-компаний.

14 апреля в 17:00 заглядывайте на наш ML Meetup (онлайн и оффлайн). 

Расскажу про алгоритм обучения с подкреплением Q-learning и его применении в сфере майнинга процессов. Алгоритм позволяет оптимизировать бизнес-процесс, превращая его из хаотичного графа, с большим количеством связей и ветвлений, в понятный и однозначный оптимальный путь исполнения.

Недавно компания 🤗 Hugging Face (стартап, стоящий за библиотекой transformers) выпустила новый продукт под названием "Infinity". Он описывается как сервер для выхода в “production”. Публичная демонстрация доступна на YouTube (ниже приведены скриншоты с таймингами и настройками, использованными во время демонстрации). Все основано на обещании, что продукт может выполнять работу с NLP с задержкой в 1 миллисекунду на графическом процессоре. По словам ведущего демонстрации, сервер Hugging Face Infinity стоит не менее 20.000$ в год за одну модель, развернутую на одной машине (общедоступная информация о ценовой масштабируемости отсутствует).

Мне стало любопытно немного покопаться и проверить, возможно ли достичь таких показателей? Спойлер: да, возможно, и с помощью этой статьи его легко воспроизвести и адаптировать к вашим РЕАЛЬНЫМ проектам.

А для тех, кому лень все это читать и хочется все получить из коробки... Ссылка на GitHub. Поставьте зведу сразу, а потом читайте 🤗

Меня зовут Дмитрий Литвинов, в Московском кредитном банке (МКБ) я курирую направление автоматизации внутренних сервисных подразделений – это операционный департамент, контактный центр и ряд других функций. Чат-боты стали довольно полезным инструментом для бизнесов любого размера и технология активно применяется в организациях самого разного профиля. Я бы хотел поговорить о том, какие технологические решения используются для создания ботов и как оптимально определить зоны их применения.

Привет, меня зовут Сергей Алямкин, я CTO компании Expasoft. В сфере моих профессиональных интересов: ML/DL, нейросети, квантизация, компьютерное зрение (полный список). В своей первой статье на Хабре хочу поделиться нашим пилотным проектом – как мы разрабатывали модель предиктивного обслуживания нефтедобывающих насосов для компаний из Северной Америки и России.

Недавно мы писали о том, как ИИ помогает корректировать фигуру на фото. Тогда речь шла о проекте от Alibaba, который в целом неплохо справлялся с задачей, но имел ощутимый недостаток: если тело становилось стройнее, фон по краям мог “поехать”.

Новый проект от китайских исследователей предлагает альтернативный метод изменения формы человеческого тела, который "вылечил" эту проблему.

Искусственный интеллект (ИИ) имеет свойство не только помогать людям в бизнесе, творчестве и жизни в целом, но и вызвать всевозможные проблемы. Вопросы корректности, этичности и применение ИИ для угроз различным системам заставили людей серьезно относиться к исследованию способов сделать искусственный интеллект и машинное обучение (ML) более безопасными.

В данной статье я постараюсь кратко изложить некоторые из нерешённых проблем, связанных с кибербезопасностью, на которые исследователи в области машинного обучения советуют обратить внимание уже сейчас, во избежание рисков в будущем.