Как стать автором
Обновить
556.3

Искусственный интеллект

AI, ANN и иные формы искусственного разума

Сначала показывать
Порог рейтинга
Уровень сложности

Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация

Время на прочтение13 мин
Количество просмотров128

Естественные языки сложны. А когда на горизонте появляется контекст, они становятся ещё сложнее. Возьмём для примера фамилию Линкольн. Некоторые сразу подумают о шестнадцатом президенте США, выдающейся исторической фигуре. Однако для других это производитель автомобилей с тем же названием. Одно простое слово имеет разные значения.

Мы, люди, без проблем различаем значения и категории. Это свидетельствует о нашем интуитивном понимании окружающего мира. Но когда дело касается компьютеров, эта, казалось бы, простая задача превращается в неоднозначную проблему. Подобные трудности подчёркивают необходимость надёжного распознавания именованных сущностей (named entity recognition, NER) — механизма, при помощи которого мы учим машины понимать различные лингвистические нюансы.

В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни. Также в ней мы прольём свет на различные методики NER и способы реализации модели NER.
Читать дальше →
Рейтинг0
Комментарии0

Новости

Разговор с командой megamen на хакатоне «Цифровой прорыв. Сезон: Искусственный интеллект»

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров295

В октябре 2023 года Информационная служба Хабра ездила на региональный хакатон « Цифровой прорыв. Сезон: Искусственный интеллект ». На этом хакатоне мне удалось поговорить с командой megamen. Ребята рассказали о том, что за кейс они решали, что используют в своей работе и какие ресурсы изучают для развития компетенций.

Читать далее
Всего голосов 8: ↑7 и ↓1+13
Комментарии0

В остаточном потоке трансформеров представлена геометрия состояний их убеждений

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров682

Какую вычислительную структуру мы встраиваем в LLM, когда обучаем их предсказанию следующего токена? В этом посте мы представляем свидетельство того, что это структура задаётся мета-закономерностями обновления убеждений о скрытых состояниях генерирующего данные процесса.

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии2

Новый Век или Парадокс Моравека

Время на прочтение3 мин
Количество просмотров1.7K

Добрый день, уважаемые хабровчане!

Этот пост немного нестандартный для меня, потому что в нем я не буду рассказывать вам про код, а вместо этого расскажу вам про дебютный киберпанк‑альбом «Новый Век или Парадокс Моравека» от нашего небольшого творческого коллектива «Тандем Модемов».

Я думаю, ни для кого не секрет, что последнее время технология генеративного ИИ развивается ошеломительными темпами. Совсем недавно стали публично доступны такие сервисы как  Udio которые позволяют по заданному тексту и промпту сгенерировать вполне достойное музыкальное произведение.

Так как мы с друзьями периодически пишем стихи на волнующие нас темы, было бы странно не воспользоваться таким шансом и не превратить их в песни.

А так как помимо Udio есть еще Midjourney и Dall‑e для генерации графики, а также бесплатный (пока) Haiper для анимации, мы решили собрать полноценный альбом, состоящих из четырех музыкальных видео.

Надеюсь, в эти нелегкие времена наши песни передадут вам частичку нашего оптимизма и уверенности в светлом будущем всего человечества.

Приятного просмотра!
Всего голосов 15: ↑12 и ↓3+20
Комментарии3

Истории

Станут ли ИИ-стартапы пузырем, который лопнул?

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров1.5K

Прошедший год был очень успешным для индустрии искусственного интеллекта. Cтоимость стартапов-единорогов выросла в 2023 году на 22,9%, а 44% из всех новых "единорогов" специализировались на искусственном интеллекте и машинном обучении. Лучше росли только стартапы в сфере кибербезопасности - на 24,3%.

Основной вклад в повышение стоимости ИИ-стартапов в 2023 году внесли OpenAI, которая привлекла 10 миллиардов $ инвестиций от Microsoft, Anthropic получившая 7,3 миллиардов $ — основные инвесторы Amazon и Google, и Inflection AI с 1,3 миллиарда $ от Microsoft.

Читать далее
Всего голосов 6: ↑4 и ↓2+3
Комментарии10

TechMix Daily. Лучшие новости за день. Выпуск 21 мая 2024 г

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров219

Дайджест новостей за день составлен по материалам телеграм канала TechMix.

Microsoft анонсировала новые компьютеры с искусственным интеллектом

На мероприятии Microsoft были представлены новые модели компьютеров Copilot+ от ведущих производителей. Эти ПК оснащены процессорами Qualcomm Snapdragon X, которые обеспечивают улучшенную интеграцию искусственного интеллекта в Windows 11. Они также предлагают новую функцию Recall, которая помогает пользователям находить приложения и контент, просмотренные ранее.

Читать далее
Всего голосов 2: ↑1 и ↓10
Комментарии0

Генеративный ИИ в Android и эффективность фоновой работы приложения — важное с Google I/O 2024

Время на прочтение15 мин
Количество просмотров1.6K

Всем привет! Меня зовут Тимур, я Android-разработчик в KTS

Состоялась конференция Google I/O, и наша команда решила выпустить обзор докладов. В этой статье — про интеграцию передового генеративного ИИ в Android-приложения, который предлагает идеальные ответы или даже делает сводку по вашей аудио записи. Также спецы из Google дали практические советы по оптимизации фоновой работы приложения для увеличения времени работы от аккумулятора.

Читать далее
Всего голосов 20: ↑19 и ↓1+19
Комментарии7

Обнаружение аварийных твитов с использованием NLP

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров763

Всем привет!

Хочу поделиться своей проектной работой, которую написала в рамках курса OTUS "Machine Learning.Professional".

Повсеместное распространение смартфонов позволяет людям сообщать о чрезвычайной ситуации, которую они наблюдают, в режиме реального времени. По этой причине все больше агентств (например, организации по оказанию помощи при стихийных бедствиях и информационные агентства) заинтересованы в программном мониторинге социальной сети X (бывший Twitter). Но не всегда ясно, действительно ли слова человека объявляют о катастрофе.

В данной работе я хотела бы рассказать, как с помощью обработки естественного языка (NLP) можно разработать систему, способную точно определять контекст твита.

Читать далее
Всего голосов 6: ↑4 и ↓2+2
Комментарии0

Open AI заплатит за нарушение авторских прав и «галлюцинации» Chat GPT?

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров2K

Над OpenAI — разработчиком искусственного интеллекта и Chat GPT, сгустились тучи. С середины 2023 года против компании и её основного инвестора Microsoft было возбуждено более дюжины громких судебных процессов и правительственных расследований в разных странах. Истцы утверждают, что компания нарушает закон об авторском праве, обучая алгоритмы искусственного интеллекта. Илон Маск подал в суд на OpenAI за отказ от первоначальной некоммерческой миссии, а государственные регуляторы в США, ЕС и Великобритании расследуют, нарушила ли компания законы о конкуренции, ценных бумагах и защите прав потребителей.

Читать далее
Всего голосов 5: ↑4 и ↓1+4
Комментарии2

Заставляем машинное обучение делать «брррр» через понимание базовых принципов компьютерных систем

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров2.4K

Итак, вы хотите улучшить эффективность работы своей модели глубокого обучения. Как подойти к такой задаче? Народ в таких случаях часто набрасывается на «сборную солянку» из всяких хитрых приёмов, которые, вроде бы, кому‑то когда‑то помогли, или хватает что‑то, встреченное в каком‑нибудь твите, вроде «Используйте операции, изменяющие исходные данные! Задайте значение None для градиентов! Устанавливайте PyTorch 1.10.0, но ни в коем случае не 1.10.1!».

Понятно — почему люди часто прибегают к таким вот спонтанным действиям в подобных ситуациях. Ведь «эффективность работы» современных систем, их «производительность» (в особенности — систем глубокого обучения) часто кажутся нам понятиями, которые ближе к алхимии, чем к науке. Тем не менее — рассуждения о производительности, в основе которых лежат базовые принципы работы компьютерных систем, способны устранить надобность в широком круге «магических» приёмов и в результате значительно облегчить путь к решению проблемы.

Читать далее
Всего голосов 6: ↑6 и ↓0+15
Комментарии3

Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend

Время на прочтение7 мин
Количество просмотров1K

Введение


Получение качественных данных — краеугольный камень любого проекта машинного обучения. Этот процесс, в котором традиционно доминирует трудозатратная разметка данных, часто может превращаться в длительную и дорогостоящую задачу. Но что, если мы сможем воспользоваться прогрессом в развитии больших языковых моделей (LLM) для перехода от разметки данных к проверке разметки?

На сцене появляется GPT-4. Эта система (разработанная на основе GPT-4), имеющая более ста миллионов пользователей — одна из самых популярных языковых моделей.

В предыдущей статье мы показали, как можно ускорить процесс разметки предварительным аннотированием данных при помощи GPT-4. Эта методика позволяет нам загружать готовый к проверке предварительно размеченный датасет, а не выполнять монотонный процесс, начиная с нуля. В этой статье мы продолжим развивать эту тему, оказав, как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.

При помощи Label Studio ML Backend можно размечать данные непосредственно в Label Studio, что позволяет нам совершить переход от трудозатратной задачи разметки данных к гораздо более эффективному процессу проверки и совершенствования предварительных меток, что существенно ускоряет работу.
Читать дальше →
Всего голосов 1: ↑1 и ↓0+1
Комментарии1

Как ИИ и методы прошлого века обошли золотых медалистов IMO в геометрии

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.2K

Решение геометрических задач, даже обычной школьной сложности, — процесс довольно творческий. Нужно что-то заметить, где-то проявить интуицию, пробовать разные подходы и придумывать свои. Отсюда возникает два вывода. Первый — раз задача творческая и не всегда понятно, какими именно принципами руководствоваться, значит она прекрасно подходит для искусственного интеллекта. Второй — противоположный, о котором наверняка думали хоть раз все, у кого с геометрией в школе было туго: нужно максимально формализовать решение, найти законы и превратить творческий процесс в набор правил. Как это обычно бывает, лучшим решением оказывается объединение противоположностей. Но обо всём по порядку. 

Читать далее
Всего голосов 6: ↑4 и ↓2+4
Комментарии2

Улучшение простого чат-бота: концепция системы команд

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров1.8K

В этой статье я расскажу про систему команд — улучшение простого чат-бота. Суть системы команд в том, чтобы создать возможность создания команд во время работы программы не изменяя ее кода. Эта идея является логическим продолжением идей о простом чат-боте, которые я описал в предыдущей статье «Как начать мыслить о ИИ». Поэтому, чтобы лучше понимать идею этой статьи, можете прочитать предыдущую тут.

Читать далее
Всего голосов 3: ↑2 и ↓1+3
Комментарии1

Ближайшие события

Хабр, GPT, корпоративные блоги и БМЛы: оцениваем глубины ужаса

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров13K

Я не испытываю ненависти ни к корпоративным блогам, как таковым, ни к большим языковым моделям в целом. А вот к мусорному контенту, созданному левой пяткой ради ссылок на сайт или телеграм-канал - испытываю, и еще как. И как раз вот тут встретились два одиночества - ленивые копирайтеры мусоропроизводители и генеративные сети. Получилась, как вы понимаете, вовсе не конфетка.

Долго работая с LLM и GPT, неизбежно начинаешь замечать характерные паттерны, обороты, формулировки, характерные для генеративного контента. Наткнувшись на очередную очевидно генеративную статью и убедившись, что из таких статей у компании состоит весь блог, я решила исследовать это дело подробнее и желательно - автоматически.

За подробностями, результатами, ужасом и даже кодом на VB.NET приглашаю под кат!

Читать далее
Всего голосов 194: ↑190 и ↓4+241
Комментарии106

DIY для шпиона: использование обнаружения объектов с помощью YOLOv8 в рамках военных стратегий

Время на прочтение8 мин
Количество просмотров5.4K

Применим геопространственную разведку для точного количественного учета воздушных судов противника? Используем для этого технологию обнаружения объектов YOLOv8 на основе аэрофотосъемки, выполненной разведывательными беспилотниками, что обеспечит надежное планирование военных действий.

В рамках глобальной системы мониторинга, известной как «The Machine». , функционируют разнообразные элементы. Данная система объединяет множество устройств, распределенных по всему земному шару, что обеспечивает комплексное наблюдение. Это позволяет государственным органам осуществлять мониторинг за индивидуальными лицами, анализировать общественные поведенческие тенденции и контролировать военные объекты на международном уровне. Геопространственная разведка (GEOINT) занимает центральное место в этой системе.

В этой статье основное внимание уделим GEOINT в качестве ключевого средства для мониторинга военных авиабаз противника. Такой подход к наблюдению за объектами и базирующейся на них авиацией способствует глубокой проработке стратегии и тактики ведения боевых действий.

Читать далее
Всего голосов 21: ↑19 и ↓2+22
Комментарии2

ИИ, игровая индустрия и состояние общества, совокупный среднесрочный прогноз с горизонтом 5 лет

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров2.1K

Недостаточно играть хорошо — вы должны быть уверены в том, что играете в правильную игру.
/Цитата из книги “Теория игр. Искусство стратегического мышления в бизнесе…”, Барри Нейлбафф/

Здравствуйте, уважаемые читатели!

Сегодняшняя статья будет представлять собой прогноз развития общества на основании достаточно очевидных предпосылок, которые, собственно, никто и не скрывал, однако сейчас они переходят в разряд очевидных.

Основные аспекты, рассмотренные в статье - состояние игровой индустрии, появление прорывных нейросетевых технологий и их совокупное влияние на вектор движения общества.

Читать далее
Всего голосов 8: ↑6 и ↓2+8
Комментарии19

Интуитивное понимание пространств и ядер в машинном обучении: Часть 1

Уровень сложностиСложный
Время на прочтение9 мин
Количество просмотров4.2K

При изучении темы ядер (kernel) в ML/DS программы вузов, роадмэпы и видео на YouTube обычно рассматривают её через призму SVM, не говоря уже о всеми любимых курсах:). Казалось бы, это неплохо: вот тебе краткое объяснение и модель, которая использует ядра. Но, увы, в этих областях желательно понимать многие процессы интуитивно, так сказать — «тяжело в учении, легко в бою». К тому же, эта тема нечто большее, чем просто метод; она позволяет связать многие вещи в машинном обучении в единую картину через пространство, что я и хочу показать в этой статье.

Читать далее
Всего голосов 16: ↑14 и ↓2+16
Комментарии12

AlphaFold 3 предсказывает структуру и взаимодействие всех молекул жизни

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.1K

Внутри каждой растительной, животной и человеческой клетки находятся миллиарды молекулярных машин. Они состоят из белков, ДНК и других молекул, но ни одна из них не работает сама по себе. Только наблюдая за тем, как они взаимодействуют друг с другом в миллионах комбинаций, мы можем по-настоящему понять жизненные процессы.

В статье, опубликованной в журнале Nature, мы представляем AlphaFold 3 — революционную модель, которая может предсказать структуру и взаимодействие всех молекул жизни с беспрецедентной точностью. Для взаимодействий белков с другими типами молекул мы наблюдаем как минимум 50-процентное улучшение по сравнению с существующими методами предсказания, а для некоторых важных категорий взаимодействий мы удвоили точность предсказания.

Читать далее
Всего голосов 5: ↑5 и ↓0+9
Комментарии0

Прародитель T1000: алгоритм динамической морфологии мягких роботов

Время на прочтение12 мин
Количество просмотров2.5K


Первые роботы, чей внешний вид напоминал Железного Дровосека, постепенно уступают дорогу мягким роботам, спектр применения которых растет с каждым новым исследованием. Мягкие роботы могут оперировать в условиях и средах, которые были бы недостижимы их жестким собратьям. Однако, развитие и совершенствование мягкой робототехники далеко от завершения. К примеру, ученые из Массачусетского технологического института (Кембридж, США) разработали новый метод машинного обучения, который позволит динамически управлять роботами с адаптируемой морфологией. В чем суть данного метода, насколько он эффективен, и где могут быть применены «желеобразные» роботы? Ответы на эти вопросы мы найдем в докладе ученых.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+12
Комментарии0

Ансамблевое обучение для самых маленьких

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров1.9K

В прошлой статье мы лишь мельком затронули такую тему, как ансамблевое обучение, дав краткое определение парочке терминов. Сегодня в планах зарыться в это дело подробнее, рассмотрев некоторые из популярных методов. Поэтому предупреждаем сразу: букв будет много. А также концептов, терминов и примеров. Со своей стороны обещаем рассказать настолько простым языком, насколько это возможно в контексте машинного обучения. В любом случае располагайтесь поудобнее. Мы здесь надолго.

Читать далее
Всего голосов 4: ↑4 и ↓0+6
Комментарии2
1
23 ...

Вклад авторов