Привет, Хабр! Меня зовут Светлана, я руководитель продуктового направления компании «ИнфоТеКС». Сегодня поговорим о такой форме применения искусственного интеллекта (ИИ) как машинное обучение. Я поделюсь историей появления технологии в компании, её роли в современных средствах защиты информации (СЗИ), обозначу проблемы, с которыми приходится сталкиваться разработчикам, и векторы развития.
Хакеры придумывают всё более изощренные способы атаки на искусственный интеллект. Один из наиболее интересных — это атака «плавающего окна внимания»: злоумышленники манипулируют контекстом диалога с ИИ, подталкивая его к опасным выводам и смещению фокуса. Чрезвычайно тонкий подход, позволяющий обходить защиту ИИ. Демонстрирую на примерах...
В последнее время большие языковые модели (Large Language Models, LLM) стали невероятно популярными — кажется, их обсуждают везде, от школьных коридоров до Сената США. Сфера LLM растёт бурными темпами, привлекая внимание не только специалистов в области машинного обучения, но и обычных пользователей. Кто-то высказывает массу опасений насчет их дальнейшего развития, а кто-то и вовсе предлагает бомбить дата-центры — и даже в Белом Доме обсуждают будущее моделей. Но неужели текстом можно кому-то навредить? А что если такая модель приобрела бы агентность, смогла создать себе физическую оболочку и полностью ей управлять? Ну, это какая-то фантастика из (не)далёкого будущего, а про агентов нашего времени я расскажу в этой статье. И не переживайте — знание машинного обучения вам не понадобится!
В пятницу увидел гору уведомлений из всех утюгов. Оказалось, Яндекс Музыка провела ребрендинг и кардинально обновила функционал. При этом есть стойкое ощущение, что несмотря на все обзоры, никто так нормально и не раскрыл самую мякотку этого обновления. В этой статье постараюсь это исправить.
Я пользуюсь Яндекс Музыкой cо времен, когда Дуров еще не придумал Telegram, а Рокстары только-только выпустили пятую GTA. В общем, очень давно.
Поэтому, мне стало интересно, и я полез искать нормальный авторский разбор обновлений. Чтобы сразу все четко, по фактам и с кристаллизацией самой сути. И… не нашел его.
Так что, как говаривал Танос, опять все приходится делать самому.
Есть отечественный файрвол (NGFW) и есть документация для пользователей powered by GitBook. В этой документации работает простой поиск — только по словам и словосочетаниям. И это плохо, потому что нет ответов на вопросы: "Какие алгоритмы шифрования ipsec поддерживаются у вас?", "Как заблокировать ютуб?", "Как настроить DMZ?".
Хочется, чтобы поиск был “умным” и чтобы пользователи могли обращаться с подобными вопросами именно к поиску, а не к инженерам тех. поддержки. AI или ML внутри — не важно, как это называть. Но на простые вопросы из списка выше поиск должен отвечать.
Я решил эту задачу (Retrieval Question Answering), используя OpenAI API. Казалось бы, уже опубликованы сотни похожих инструкций, как это сделать. Но под катом будет не инструкция, а рассказ про сложности, которые пришлось решить на пути от идеи до запуска поиска.
RAG (Retrieval Augmented Generation) - это популярный подход, объединяющий извлечение данных из баз и генерацию текста, позволяя моделям AI давать ответы на вопросы, основанные на информации, которую они не видели в процессе обучения. Важным этапом в развитии RAG является его эффективная оценка, и именно здесь на сцену выходит RAGAS (Retrieval Augmented Generation Automated Scoring) - метод автоматизированной оценки, который позволяет не только оценить качество ответов, но и анализировать процесс генерации в деталях.
Пьеса в трех актах. Акт 1.
399 год с апокалипсиса, подземный бункер.
Действующие лица:
Сократ - ИИ
Платон – 60 лет, главный создатель ИИ
Деймона – 35 лет, жена Платона
Анит – 30 лет, хранитель мира между полисами
Мелет –30 лет, главный торговый представитель полиса
Биос – 50 лет, глава суда присяжных
Дедал – 50 лет, главный инженер
Аполлодор – 20 лет, слушатель Сократа
Херомонт –20 лет, свидетель по делу Сократ
ТЛДР одной картинкой
Задача у меня довольно понятная — нужна обложка для моей SciFi книги. Есть ТЗ, есть эскиз. Нейросети с таким не справятся, так как нужна сцена из книги, образы не мейнстримные, не представленные широко в массовой, и тем более западной, культуре.
За полтора месяца поиска адекватного художника на задачу я отчаялась и смирилась с тем, что придется сгенерить обложку нейросетями, и что она будет очень отдалённо передавать суть книги.
Несмотря на то, сколько у меня возникло негативных эмоций при поиске художников, попробую очень сухо и по фактам разложить, в чем преимущества и недостатки двух подходов к моей задаче. Не исключено, что в случае с художниками мне 1. просто не повезло, 2. я не знаю, где и как искать. Если у вас есть знакомый проверенный художник, однозначно, все упрощается.
Опишу также мой опыт работы с нейросетью Kandinsky 2.2. Почему выбор пал на неё, какие у нее достоинства и недостатки, как с ней работать.
Всем доброго первого зимнего дня!
Меня зовут Рома, я проджект менеджер студенческой команды ПИН-КОД.
Мы хотим рассказать о первой в России продуктовой истории с моделью распознавания РЖЯ - сервисе изучения русского жестового языка и представить небольшой кусочек, который вы сможете сами "пощупать". 😎
Всем привет! Меня зовут Капитанов Александр, я отвечаю за направление компьютерного зрения в SberDevices. В этой статье я расскажу о том, как моя команда Vision RnD разработала серию моделей SignFlow, обеспечивающих перевод с жестового языка на русский и американский английский в реальном времени с высокой метрикой качества. На основе этих моделей мы реализовали прототип общения с генеративной языковой моделью GigaChat, что является первым в мире открытым решением задачи общения с искусственным интеллектом при помощи русского жестового языка (РЖЯ). Далее я расскажу о разработке модели, тонкостях обучения, демо-стенде и интеграции с GigaChat.
Удивительно было сегодня обнаружить в знакомом интерфейсе ChatGPT праздничную шапочку. Я уж было подумал, что OpenAI решил украсить интерфейс к новому году. Ан нет, сегодня и правда большая веха этого замечательного продукта, повлиявшего на жизни сотен миллионов человек. И захотелось вспомнить и зафиксировать все те удивительные вещи, которые за этот год произошли у ChatGPT. В одном месте это все обнаружить не нашлось, пришлось лазить по анонсам OpenAI, а также обзорам (1 и 2). Итак, с чего всё начиналось.
Доброго времени суток, дорогой Habr, надеюсь вы успели заскучать после 3-х месяцев паузы (ссылка на прошлую статью). На связи снова Николай Иванов и сегодня вы узнаете, что общего между раком крови, лазерами и машинным обучением. В этой статье мы поговорим с вами о методе проточной цитофлуориметрии, как он работает и как врачи определяют рак костного мозга и крови. Далее обсудим причём тут машинное обучение, как его можно использовать для ускорения работы врачей, а также чего мы достигли и есть ли смысл этим вообще заниматься? Рассказ я буду вести именно в том порядке, в котором мы двигались, при решении данной задачи. Приятного чтения!
У меня уже давно было убеждение что профессии, которые нейронные сети смогут заменить позже всего — это профессии, связанные с аналитикой и исследовательской работой. В самой этой мысли, конечно, ничего удивительного нет, удивительно то, на сколько самые крутые языковые модели, такие как GPT-4 Turbo, отстают от человека в решении таких задач — в десятки и более раз! Наглядно это продемонстрировали результаты, полученные учёными из нескольких ведущих мировых групп, занимающихся исследованиями и разработками искусственного интеллекта, ребята неплохо потрудились и представили новый набор данных с 466 задачами для оценки качества сильных-искусственно-интеллектуальных ассистентов (General AI Assistants). На этих задачах были проверены наиболее мощные языковые модели и агенты, работающие на их базе, а также произведено сравнение с решением этих же задач людьми.
Задачи разделены на три уровня сложности и для смакования превосходства над железяками давайте разберем по одной задаче из каждого уровня в порядке возрастания сложности. А судить о степени прокаченности «естественного» интеллекта необходимой для ответов на подобные вопросы оставлю уже вам.
Сейчас довольно часто нужно включать VPN. На Android, IOS и Windows у меня получалось находить программы, которые по одной кнопке его хорошо подключают. Но даже в них, во-первых, есть реклама, во-вторых, есть лимиты, а в-третьих (по крайней мере, с бесплатной версией) бывает такое, что приложение говорит, что всё сработало, а трафик либо вообще не идёт, либо идёт в обход VPN-а.
Применение искусственного интеллекта в окружающей нас действительности стремительно растет — международная консалтинговая компания McKinsey подсчитала, что среднее количество возможностей ИИ, используемых в организациях, удвоилась за последние четыре года. Занимаясь автоматизацией бизнес‑процессов, мы также начали исследования в этой области для упрощения и ускорения решения корпоративных задач. Мы уже писали ранее о первом опыте работы над автоматической генерацией протоколов совещаний. А в данной статье расскажем, как применили нейросетевые технологии для абстрактивной суммаризации, требующей минимальной доработки человеком.
Есть много локальных аналогов ChatGPT, но им не хватает качества, даже 65B модели не могут конкурировать хотя бы с ChatGPT-3.5. И здесь я хочу рассказать про 2 открытые модели, которые всё-таки могут составить такую конкуренцию.
Речь пойдет о OpenChat 7B и DeepSeek Coder. Обе модели за счет размера быстры, можно запускать на CPU, можно запускать локально, можно частично ускорять на GPU (перенося часть слоев на GPU, на сколько хватит видеопамяти) и для такого типа моделей есть графический удобный интерфейс.
И бонусом затронем новую модель для качественного подробного описания фото.
UPD: Добавлена информация для запуска на Windows с ускорением на AMD.
Дообучение 7-миллиардной модели Saiga2 под свои задачи, используя сгенерированный датасет с помощью GPT. В данной статье есть все необходимые ссылки и код для предобработки и запуска обучения модели, а также квантования модели.
Рост генеративного ИИ, API OpenAI и локальные LLM, влияют на то, как мы разрабатываем приложения. У разработчиков на Python и JavaScript есть много инструментов, особо популярен LangChain. Однако, у гошников вариантов меньше. LangChainGo, порт оригинального LangChain, пытается маппить питонячие концепции на го, получается не слишком идеоматично. К тому же, есть ощущение, что LangChain сам по себе переусложнен.
Из-за потребности в простом, но мощном инструменте для Go, мы разработали Agency. Эта простая гошная либа с маленьким ядром, которую мы постарались тщательно спроектировать.
