В случайно сгенерированном мире Minecraft найдём алмазы с помощью ИИ. Как обученный с подкреплением агент проявит себя в одной из самых сложных задач игры? Подробностями делимся к старту флагманского курса по Data Science.
Искусственный интеллект
AI, ANN и иные формы искусственного разума
Новости
Обучение с подкреплением: неформальное знакомство
Обучение с подкреплением (Reinforcement learning, RL) сыграло ключевую роль в стремительном развитии технологий искусственного интеллекта, которое можно было наблюдать в последнее десятилетие. В этом материале мы простыми словами расскажем о том, что такое обучение с подкреплением, поговорим о том, почему оно важно не только как объект исследований, но и как инструмент, который находит множество самых разных вариантов практического применения.
Работа в Data Science: что важно знать и как этому научиться
Сегодня словосочетания вроде Data Science, Machine Learning, Artificial Intelligence очень популярны. При этом нередко под ними понимаются довольно разные вещи. Это зачастую смущает и запутывает людей, желающих войти в специальность: трудно разобраться, с чего начать, что действительно нужно, а что необязательно для начала. Не претендуя на общность, расскажем, как это видится на основе десятка лет опыта c решением такого рода задач для крупных клиентов со всего мира (сервис / заказная разработка / аутсорс – подставьте термин по вкусу).
Собираем генератор данных на Blender. Часть 1: Объекты
Привет, Хабр! Меня зовут Глеб. Я работаю в компании Friflex над проектами по оцифровке спорта. Работая над idChess (приложением для распознавания и аналитики шахматных партий), мы расширяем наш датасет синтетическими данными. В качестве движка используем Blender. В этой статье рассмотрим основы взаимодействия с объектами, получение доступа через API, перемещение, масштабирование и вращение.
Классификация гистологических изображений со светлоклеточным раком почки, используя Keras
Мой первый любительский проект по классификации изображений со светлоклеточным раком почки, используя модели глубокого обучения, имплементированные на Keras. Весь пайплайн включал такие этапы, как:
1) Получение полнослайдовых изображений (WSI) – подготовка датасета.
2) Аннотация изображений
3) Получение готового датасета (Train, Validation и Test)
4) Выбор и тренировка моделей
5) Тестирование моделей
Беттинговый инжиниринг: марьяж айтишников и трейдеров
Кто такой по-настоящему великий тренер? Это не просто талантливый наставник, прошедший свой спортивный путь и преодолевший немало испытаний и травм (хотя и это тоже). Он — своего рода инженер, конструирующий ту красивую картинку, которую зрители увидят со стадиона и экрана. Почти все, что на первый взгляд кажется случайностью, начиная от тактических приемов и заканчивая траекториями полета мяча, на деле может оказаться результатом математических расчетов тренерского штаба. И в этом нет ничего плохого, ведь, в конце концов, это именно тот футбол, который мы так любим: с неподдельными эмоциями и зрелищами.
То же справедливо и для ставок на спорт. Для зрителя — это возможность получить ни с чем не сравнимые эмоции, ведь смотреть за событием куда интереснее, да и ярких впечатлений намного больше. В Америке веками складывалась такая культура ставок, когда члены семьи делали ставки и с удовольствием (или с грустью) наблюдали за исходом игры, поэтому там ставки рассматриваются скорее не как способ заработать, а как возможность скрасить вечер в кругу семьи, добавив немного остроты.
Однако, за привычными для зрителей прогнозами тоже стоят свои «инженеры», для которых каждая линия — это результат многочасовой, а иногда и многонедельной, аналитической работы.
Как автоматически переписать текст другими словами, сохранив смысл? Рассказываем про рерайт-сервис
Часто при работе с текстами мы хотим не только выделить главное из больших отрывков, но и переписать текст, сохранив его смысл. В предыдущем посте мы рассказали, как команда SberDevices делала AI Service суммаризатора. Сегодня давайте поговорим про наш опыт создания не просто парафразера, а именно рерайтера текста. В связке эти инструменты могут быть полезны для множества практических задач. Демо обоих сервисов доступны в маркетплейсе AI Services.
Итоги хакатона по синтезу речи и голосовым дипфейкам
22-24 апреля 2022 года в Российском Технологическом Университете МИРЭА при поддержке компании «Наносемантика» прошел студенческий хакатон по разработке алгоритмов генерации голосовых фейков. В течение 3-х дней 17 команд соревновались в разработке программы, которая копирует голос конкретного человека. Под катом — подробности и результаты прошедшего мероприятия.
Это наконец произошло: нейросеть и человек написали книгу. Вместе! Рассказываем, как им помогали разработчики
На этой неделе в издательстве Individuum вышел сборник рассказов «Пытаясь проснуться», написанных писателем и художником Павлом Пепперштейном и генеративной нейросетью ruGPT-3, разработанной командой SberDevices.
«Пытаясь проснуться» — это первый в мире сборник рассказов, родившийся в результате сотрудничества писателя и его «двойника»-нейросети. Из 24 текстов в нём только половина принадлежит Пепперштейну — ещё дюжину сочинила генеративная нейросеть ruGPT-3, дополнительно обученная на рассказах Павла.
В этом тексте мы расскажем, как обучали Нейроличность — двойника писателя — и что теперь будет с литературой (спойлер: а всё очень даже хорошо будет!).
Интерпретируемость в машинном обучении: итоги 2021 г
В 2021-2022 годах уже ни для кого не секрет, что понимать логику работы моделей машинного обучения важно и нужно. Иначе можно насобирать множество проблем: от того, что модель не будет принята конечным пользователем, потому что непонятна, до того, что она будет работать неправильно, а поймем мы это уже слишком поздно.
Для интерпретируемости в машинном обучении устоялись термины Interpretable ML и Explainable AI (XAI). Объединяет их одно - стремление сделать модели машинного обучения понятными для конечного пользователя.
Под катом поговорим о том, что интересного произошло в интерпретируемости в 2021 г.
GPT-4 уже на за горами. Что мы о нём знаем
Возможно, вы помните, что о появлении GPT-3 объявили в мае 2020 года. Его запустили через год после GPT-2, который также появился спустя год после первой версии GPT. Если бы эта тенденция сохранялась, то GPT-4 уже был бы доступен. Увы, четвёртой версии мы пока не дождались. Но генеральный директор OpenAI Сэм Альтман недавно заявил, что GPT-4 на подходе. Некоторые эксперты полагают, что релиз состоится где-то в июле-августе 2022 года.
Удивительно то, что информации о GPT-4 очень мало. На что он будет похож, какие у этой модели особенности и возможности. Точно известно, что у GPT-4 не будет 100 триллионов параметров (т.е. в 500 раз больше, чем заложено в GPT-3). Для создания такой большой модели нужно больше времени.
Давайте попробуем разобраться, что ещё известно о четвёртом поколении алгоритма обработки естественного языка от OpenAI.
Введение в суррогатные модели. Часть 2: Прикладной пример
Продолжаем ускорять инженерное проектирование при помощи суррогатных моделей. Суррогатное моделирование – это обучение статистической модели, которая послужит дешевым, но точным заменителем тяжелой имитационной модели при выполнении самых разных задач проектирования. Мы дополнили исходную статью своим кодом, который вы легко запустите и сами оцените мощь этого подхода.
Тесты банков для проверки личности «чрезвычайно уязвимы» для deepfake атак
Автоматизированные тесты "liveness tests", используемые банками и другими учреждениями для проверки личности пользователей, легко обмануть дипфейками, говорится в новом докладе.
Компания Sensity, специализирующаяся на выявлении атак с использованием сгенерированных искусственным интеллектом лиц, проверила уязвимость тестов идентификации, предоставляемых 10 ведущими поставщиками. Sensity использовала deepfakes для копирования лица цели на ID-карту для сканирования, а затем скопировала это же лицо на видеопоток потенциального злоумышленника, чтобы пройти liveness тесты.
Как мы распознавали птиц при помощи камер и искусственного интеллекта (часть 2)
Нам удалось поработать с заказчиком, который решил выпустить на рынок сервис по определению птиц вкупе с камерами. Нам предстояло обучить камеры определять птиц в своем объективе, а затем, научить сервис определять вид и пол птиц.
Мы уже рассказывали, как обучали нейронную сеть в камерах распознавать птиц. В этой статье речь пойдет про видовое определение снятых птиц. История оказалась еще более сложной, чем первая.
Как нарисовать Мону Лизу без кистей и красок?
Рисуем Мона Лизу используя глубокое обучение с подкреплением
Живопись является важной формой искусства, символизирует человеческую мудрость и творчество. Но людям трудно овладеть этим навыком, не потратив много времени на надлежащее обучение. Поэтому обучение машин рисованию является важной, но сложной задачей, которая помогает пролить свет на тайну живописи.
Практические применения генеративных моделей: как мы делали суммаризатор текстов
В последнее время вышло большое количество генеративных моделей для русского языка. Команды Сбера выпустили целое семейство авторегрессионных моделей ruGPT3, ruT5, о которых мы подробно писали ранее. Сегодня мы расскажем, как практически применять обучение таких моделей и какие продукты можно получить на их основе.
Мы выводим в открытый доступ два новых сервиса: Рерайтер и Суммаризатор. Модель «Рерайтер» способна переписать любой текст другими словами с сохранением смысла вне зависимости от длины и формата — от новостей и художественной литературы до постов в социальных сетях. Модель «Суммаризатор» позволяет создать сжатое изложение исходного текста, сохраняющее его главные тезисы. Эта модель может быть полезна для экономии времени читателя, а также выделения главных мыслей объёмных документов, научной или бизнес-литературы. В частности, использовать сервис можно для подготовки обзоров научных работ на заданную тему, создания новостных дайджестов, выделения наиболее важных событий в лентах информагентств для аналитики.
Реставрация 100-летнего фильма с помощью ИИ
Генеральный директор проекта neuro.love Денис Ширяев поделился удачными практиками и алгоритмами для восстановления и улучшения качества старых фильмов. Для самостоятельных экспериментов требуются базовые знания Abode Premiere или After Effects, но результат того стоит. Подробности — под катом.
Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов
Думаю, вы знакомы с графиками сравнения точности архитектур. Их применяют в задачах по классификации изображений на ImageNet.
В каждом сравнении которые я мог встретить ранее в Интернете, как правило это было сравнение небольшого количества архитектур нейросетей, произведенными разными командами, и возможно в разных условиях.
Кроме того в последнее время я наблюдаю изменения: появилось большое количество архитектур. Однако их сравнений с ранее созданными архитектурами я не встречал, либо оно было не столь масштабным.
Мне захотелось столкнуть большое количество существующих архитектур для решения одной задачи, при это объективно посмотреть как поведут себя новые архитектуры типа Трансформер, так и ранее созданные архитектуры.
Как ИИ помогает компаниям сократить расходы на хранение данных
Объем информации в мире продолжает расти в геометрической прогрессии. Согласно новому исследованию Statista, опубликованному 18 марта, общий объем данных, созданных в мире в 2020 году, составил 64,2 зеттабайта. То есть 64,2 триллиона гигабайт. И ожидается, что к 2025-му на планете будет создаваться уже по 180 зеттабайт данных в год.
Никаких физических накопителей на такое не хватит, учитывая, что сейчас у нас недостаточно даже чипов для видеокарт. Неудивительно, что траты на хранение и обработку данных постоянно растут. Это постепенно становится вопросом №1. В 2021 году объем рынка Big Data достиг $162,6 млрд — хотя в 2013-м он составлял $34 млрд.
Нужны новые технологии. Иначе проблемы с высокими эксплуатационными расходами, нехваткой емкостей для хранения и устаревшим оборудованием будут только усугубляться, и это поставит под вопрос развитие всей индустрии.
Как технологии коммуникации диктуют механизмы мышления человека
Исследовательский проект морфологического разбора слов русского языка дал жизнь компании Яндекс. Ряд других ключевых аспектов лингвистики и теории коммуникации пока остаются неизвестными для компьютерного сообщества, но могут породить новые технологии. В данной статье рассматривается влияние методов коммуникации на мышление человека. Автор следует работам Александра Лурии и Уолтера Онга. Данный текст является продолжением и гуманитарным основанием «Манифеста В++, социальные сети + Википедия + каталог всего на одном движке», но не зависит от «Манифеста» и может быть прочитан отдельно.
Вклад авторов
-
alizar 3980.6 -
marks 2200.4 -
3Dvideo 1046.0 -
BarakAdama 662.0 -
AlexeyR 597.0 -
ZlodeiBaal 564.0 -
Pochtoycom 523.8 -
ivansychev 503.7 -
Syurmakov 448.0 -
rg_software 412.0