Машинное обучение *

Всем привет!

Возвращаюсь к теме применения нейронных сетей в личных целях. На этот раз будем запускать долгий проект, по созданию голосового ассистента (ГА). Создать свою Алису или Siri довольно просто, есть уже много статей на Хабр (и не только), которые подробно описывают основные принципы, но чтобы было действительно профессионально и интересно мы углубимся в эту тему и «прикрутим» нейронные сети к нашему ГА. И в первой части начнем с того, что научим нашего голосового ассистента распознавать человека, который в данный момент пользуется компьютером.

Такой проект отлично будет смотреть в любом портфолио, тут будет присутствовать, как и общее программирование на Python, так и взаимодействие с нейронными сетями. Я считаю, что любой начинающий или практикующий питонист (аналитик, специалист по машинному обучению) разобрав, поняв, доработав (нужное подчеркнуть) данный проект, отлично прокачает свои навыки.

Первую часть нашего большого проекта поделим на несколько этапов:

Я прохожу онлайн курс по ML, а здесь я пишу статьи, в которых, как мне кажется, я нуждался неделю назад.

Это моя первая статья на Хабре. Ну как принято, я сразу сделаю оговорки (тот самый дисклеймер) о том, что все, что я тут пишу — это мой личный опыт, мое личное мнение, я не стремлюсь как‑то где‑то и чем‑то кого‑то (тем более корпорацию Гугл, чьими продуктами я очень в принципе доволен и рад пользоваться) задеть, ущемить интересы, создать антирекламу, кого‑то опозорить (бла, бла..) и т. д. и т. п. Если кто‑то что‑то увидит негативное в свой адрес — это я не со зла и не специально (заранее извиняюсь), просто проводя аналитические оценки я пришел к таким выводам.

Решил поделится некими размышлениями о том, как ИИ от Гугла иногда преднамеренно (в смысле возможно ему специально включили «это» в алгоритм) или в процессе общения, сам того не ведая, научился «врать» (простите модераторы, не нужно сильно модерировать, это я просто запарился с этим ИИ, потому как немного пострадал).

В общем, история простоя и короткая. Я, как, наверное, и все любители (и не только) частенько отдаю на «аутсорс» (или точнее вскармливаю) определенные задачи ИИ‑шкам. Последнее время нравился Google AI. Ну а что? Многие со мной согласятся, что по сравнению с ChatGPT, работает Google AI более релевантно. Не слишком фамильярничает, не перегружает «водой» (если контекст этого не требует), отвечает быстрее, ну и 2 млн. токенов дает «на халяву» загрузить и анализировать. Для аналитика прям «ляпота и не только».

Короче, решали мы с Google AI (далее чтобы не копи/пастить давайте по тексту я назову его ГАИ) задачу. Ничего особенного, ГАИ мне давал, вроде, как обычно все результаты, и вроде так, как я от него добивался (в прямом смысле слова). Здесь я немного отступлю, просто экспромт возник — не перелистываем абзац, пожалуйста, просто есть один нюанс, о котором я пользуясь моментом тоже хочу узнать, может кто скажет дельное. Когда пишешь задачу особенно по матстатистике или эконометрике, и загружаешь в ГАИ, то надо в обяз прописывать условия типа «распиши решение с детальным описанием алгоритма» или «представь ответ с описанием формулы или расчета» и т. д. Я конечно понимаю, что имею дело с ИИ, но почему с тем же ЧатомГПТ или Клодом так детально писать не нужно? Они сами все предельно коротко, но емко напишут, а вот ГАИ — нееет, обязательно где‑то сократит и именно так, что потом «черт не разберет». Короче как я не пытался его настроить, без вышеназванных фраз, а-ля «дай ответ с подробным описанием...» ничего не получается. Конец отступлению.

В предыдущей моей статье среди уважаемых читателей разгорелась большая дискуссия о том, способна ли модель адекватно программировать и освободить программиста от значительных трудозатрат по кодингу.

Ее заголовок, который написан с долей юмора и самоиронии некоторые восприняли очень прямолинейно. И тем не менее, вопрос по прежнему актуален. В этой статье я буду делать с помощью LLM рефакторинг двух образцов грязного кода и анализ результатов.

Всем привет! Меня зовут Александр Тришин, я работаю DS в команде персональных рекомендаций Wildberries и занимаюсь графовыми нейросетями.

Это был мой первый опыт работы с графовыми сетями, и мне пришлось погрузиться в изучение статей и проведение собственных экспериментов. В процессе я нашел много интересного и полезного, поэтому решил поделиться своими находками с вами. В результате графовая нейросеть используется в качестве кандидатной модели для увеличения exploration.

В этой публикации я расскажу вам о LightGCN и не только. Вспомним, что такое сверточные графовые сети, их основные компоненты и принципы работы: подробно разберем модель на user-item графе, после перейдём к item-item графу. Затем познакомимся с моделью LightGCN: рассмотрим архитектуру, процесс обучения, недостатки (медленная сходимость и смещение в популярное) и варианты их устранения. А в конце посмотрим, как это всё применять на практике: обучим сетку на датасете Movielens-25m, замерим метрики, столкнёмся с проблемами LightGCN и вместе их решим! Ноутбук прилагается 🤓

Мир искусственного интеллекта продолжает стремительно развиваться, и недавний релиз Stable Diffusion 3 от Stability AI — яркое тому подтверждение. Давайте разберемся, что нового предлагает эта модель и как она меняет ландшафт генерации изображений.

В этой статье мы подробно рассмотрим распознавание именованных сущностей (Named Entity Recognition, NER) и его применение на практике. Простым и доступным языком объясним, как работает NER, приведем примеры кода с использованием библиотеки SpaCy и покажем, как обучать модели для распознавания именованных сущностей. Эта статья поможет вам быстро освоить основы и начать применять NER в своих проектах!

Привет, Хабр! Меня зовут Павел Криницин. Я работаю на крупном металлургическом предприятии по производству и переработке алюминиевой продукции, где слежу за работой оборудования. В этой статье я расскажу, как мы исследовали способы раннего диагностирования повреждений конвейерных лент с применением компьютерного зрения. Эта статья будет полезна широкому кругу специалистов, занятых в различных областях промышленности, где применяют конвейерные транспортные системы. Описанные в статье подходы делают диагностику оборудования и поиск дефектов более точными, а планирование ремонтных работ — более эффективным.

Привет, Хабр. Меня зовут Аделина Ямалтдинова, я разработчик технологического сервиса «Классификатор» — одной из частей платформы «Преферентум».

Как вы могли догадаться из названия, сервис нужен для классификации неструктурированной информации — документов, заявок, звонков и т. д. Он применяется для маршрутизации обращений на горячую линию, сортировки входящих документов в СЭД, тематической классификации, выявления негативных отзывов, определения типа и контроля комплектности документации и т. п. Таким образом, «Классификатор» упрощает переход компаний к интеллектуальной автоматизации различных бизнес‑процессов, обогащая используемые системы ИИ.

В статье я расскажу об устройстве нашего «Классификатора» и о том, как мы его улучшаем.

Компьютерные игры давно превратились из несерьёзного развлечения в процветающую индустрию, приносящую миллионные доходы. Этот сектор также способствует развитию технологий искусственного интеллекта и виртуальной реальности. Разработка компьютерных игр объединяет художественные и научные элементы с такими дисциплинами, как психология, антропология, культурология и социология. В результате геймеры с невероятной скоростью оттачивают как социальные, так и технические навыки.

Я не знаю как правильно назвать обзор/гайд про эту плату. Самая китайская плата? Самая загадочная? Самая неоднозначная? В любом случае - одна из самых интересных!

Поговорим про OrangePi AIpro, плату от запрещённой в половине мира Huawei.

Привет! Меня зовут Илларион, я аспирант ИТМО и член команды, которая занимается предсказанием временных рядов, порожденных графовыми структурами, и другими исследованиями. Однако в разработке новых методов для прогнозирования есть существенное препятствие — нехватка открытых данных для обучения и тестирования моделей.

Для решения проблемы мы создали открытый инструмент Time Series Generator. Я рассказал о нем на митапе, посвященном open source-разработке для научных задач. Под катом делюсь особенностями разработанного решения и рассматриваю реализуемые им задачи.

Алгоритм был предложен Эндрю Витерби в 1967 году для декодирования сигналов с кодировкой, используемой в системах связи.

Алгоритм Витерби предназначен для поиска наиболее вероятной последовательности скрытых состояний в моделях с наблюдаемыми переменными, таких как скрытые марковские модели. Основное применение заключается в декодировании, где нужно определить скрытую последовательность состояний, вызвавших наблюдаемую последовательность событий.

Добрый день, уважаемые читатели Хабра. Продолжаем разбираться в теме «утечки» конфиденциальных данных на примере больших языковых моделей и совершаемых для этого атак. В первой статье мы затронули такие механизмы атаки как Special Characters Attack (SCA), Leakage of Test Data in Training Data (LTDAT), Leakage in Prompt Atack (PLeak). Они несут угрозу для генеративных моделей. И мы показали, как можно маскировать данные для минимизации ущерба. 

В этот раз мы затронем такую обширную проблему, как «отравление» обучающих данных (Data Poisoning) и возможность реализации «утечек». Уже известны многочисленные статьи, в которых разбирают атаки, когда входными данными являются изображения. Базовое объяснение существующим подходам даётся здесь и здесь, и говорится что они, как правило, служат бэкдорами и предназначены для повышения привилегий в системе. 

Сейчас технологии машинного обучения и нейронных сетей находят широкое применение в различных сферах, не исключая дизайн и ремонт помещений. Одной из таких технологий является методы генеративных нейросетей, которые позволяют преобразовывать изображения, сохраняя основные элементы оригинала, но добавляя новые детали и стилистические изменения. Меня зовут Алексей Луговой, я работаю с Computer Vision в Самолете и уже обзорно рассказывал на Хабре, как мы применяем искусственный интеллект в строительстве. Сегодня же углубимся в задачу по созданию генеративной сети для создания проекта ремонта. Рассмотрю процесс использования диффузионных моделей с различными дополнениями на примере не самой обычной задачи — преобразования интерьера комнаты, начав с оригинального изображения голых стен и завершая итоговой генерацией в фирменном дизайнерском стиле.

GenAI стремительно ворвался в нашу жизнь. Ещё вчера мы с опаской смотрели на него, а сегодня уже вовсю используем в работе. Многие эксперты пророчат GenAI большое будущее, считая его предвестником новой промышленной революции.

И ведь действительно, LLM и мультимодальные модели уже сейчас демонстрируют впечатляющие возможности и при этом относительно просты во внедрении. Создать простое приложение на их основе - дело нескольких строк кода. Однако переход от эксперимента к стабильному и надежному решению — задача посложнее.

Как метко подметил Мэтт Тёрк: если в 2023 году мы боялись, что GenAI нас погубит, то в 2024-м мечтаем хоть как-то приручить его и запустить в "мелкосерийное производство".

Если вы уже успели создать свои первые LLM-приложения и готовы вывести их на новый уровень, эта статья для вас. Мы рассмотрим 17 продвинутых RAG-техник, которые помогут избежать типичных ошибок и превратить ваш прототип в мощное и стабильное решение.

Пристегните ремни, мы отправляемся в увлекательное путешествие по миру AGI! Вместе мы:

Поймем, как система отличает ценную информацию от информационного шума;

Разберемся, как правильно подготовить данные для LLM;

Выясним, можно ли строить цепочки из нескольких LLM;

Поймем, как направлять запросы через разные компоненты системы.

Приятного прочтения(:

Салют, Хабр! На связи Алексей Минин. В SberDevices наша команда занимается созданием и развитием решений в области генеративной музыки. В этой статье хочу рассказать о том, как мы реализовали музыкальное шоу с применением технологий AI на прошедшей в апреле конференции GIGA RnD Day. В тот день на сцене вживую импровизировали музыканты и вместе с ними наша нейросетевая модель для генерации музыкальных произведений — SymFormer. В результате симбиоза живого исполнения и технологий на сцене создавалась уникальная музыкальная композиция в режиме реального времени.

На днях прошла наша конференция GigaConf, посвящённая ИИ в бизнесе. Мы подготовили сборник ознакомительных выступлений с трека открытия.

Привет, ХАБР! Недавно я писал научную статью с AIRI по графовым рекомендательным системам. Это был мой первый практический опыт работы с этой технологией, поэтому пришлось углубиться в исследования и изучение доступных материалов. Я решил, что пока я разбираюсь в этой теме, было бы полезно поделиться своими находками с вами.

Эта статья будет частью серии, состоящей из двух или трех частей. В первой части мы рассмотрим базовые понятия, концепции и простые модели, а также выделим их ключевые особенности. Вторую часть напишут мои знакомые из WildRecSys, где они расскажут о lightGCN и поделятся своим опытом использования этой модели. Все остальные части можно будет найти в моем телеграм канале, поэтому приглашаю подписаться что бы не пропустить, а вам приятного чтения.