Искусственный интеллект

Всем привет!

Наткнулся сегодня на еще одну книжку про AI.
Что опять?)
Для начала у нее интересное название - "Охота на электроовец".
Но есть еще две причины, по которым я решил про нее написать.

1. книжка научно-популярная - история развития AI и обзор текущего состояния. До сих пор не встречал таких. При этом написана программистом (уточнение - бывшим программистом судя по текущей должности). Кажется, для вкатывания в тему, если есть пробелы\проблемы в математическом образовании - неплохой вариант.

2. автор - Сергей Марков - из России, что встречается не часто. Более того - автор живет в России на данный момент. Т.е. его можно в теории встретить на какой-либо конференции и позадавать вопросы. Ну и проблем перевода точно не будет)

Скачать можно бесплатно, бумажную версию скоро выпустят тут.
Я лично планирую прочитать.
Да, о минусах - иллюстрация на обложке для электронной версии .. ну такое. Ну и 2 тома, 1200 страниц - не всякую дорогу осилит идущий)

P.S. Угадайте, в какой компании работает автор?)

Автоген-челлендж на Хабре: расскажи о своем проекте

Сгенерировать видео по промпту или превратить мурчание кота в электрошансон — может каждый с приходом генеративного контента. Однако не каждый может создать подобный ИИ-сервис или переобучить нейросеть под свои задачи. 

Если вы один из тех героев, которые работают с генеративным ИИ профессионально и пытаются сделать нечто крутое на острие современных технологий, приглашаем вас участвовать в автоген-челлендже Хабра и «Самолета».

Заявите о вашем проекте из сферы генеративного ИИ и выиграйте информационный грант от Хабра для промо вашего проекта. Условия участия в челлендже:

• Принимаем материалы до конца сентября.

• Подойдут статьи и посты в личных и корпоративных блогах.

• Чтобы участвовать, поставьте к статье или посту специальный тег — автоген-челлендж.

• Темы — генеративный ИИ, большие языковые модели, ИИ-агенты; применение в реальных задачах, настройка инфраструктуры, обучение и тестирование.

Из пятёрки статей и постов-участников с самым высоким рейтингом эксперты «Самолета» и Хабра выберут от одного до трёх победителей. Эти счастливчики смогут продвинуть свой проект в историях на Хабре и в социальных сетях Хабра. Кроме того, все победители получат мерч от «Самолета».

При работе с АI инструментами к ним нужно относиться как к этим двоим с картинки - мозгов немного, но очень исполнительные.

Поэтому надо отдавать им четкие промпты и держать их в строгой узде.

Лениво-технологичный подход к созданию текстового контента

Я тестирую новый подход к созданию текстового контента. Раньше я просто писал посты, редактировал их, удалял лишнее, перефразировал и затем публиковал их в своем Telegram-канале или в любом другом месте, где хотел опубликовать что-то.

Но теперь я нашел новый способ, который мне очень понравился, и решил поделиться им с вами.

Я включаю запись голосового сообщения в Телеграме в переписке с (пока-что) бесплатным ботом Сбера и просто говорю текст, который хочу увидеть в итоговом результате. Я произношу текст как есть, не обращая внимания на паразитные слова и оговорки.

Затем я получаю текст от бота и передаю его в любой GPT, указывая, что нужно удалить паразитные слова, отформатировать и структурировать текст, добавить пунктуацию. В результате GPT возвращает мне отредактированный текст, который, конечно же, требует внимательной проверки и дополнительной правки.

Править существующий текст куда быстрее чем писать текст с нуля — в моем случае мысль голосом выразить быстрее чем писать текстом.

Этот пост, кстати, я написал именно таким способом и очень доволен результатом. От идеи до поста 5 минут.

Как будет время и этот процесс автоматизирую, чтобы я просто наговаривал текст своему боту, а он его конвертировал в причесанный пост, а дальше уже я руками довел его до публикации.

Компания Gartner опубликовала отчет о состоянии рынка ИИ-помощников по кодированию в своей ежегодной серии квадрантов. GitHub вошел в группу лидеров

Gartner включила в квадрант ИИ-помощников по кодированию 12 решений на основе их способности к выполнению задач и полноты видения. GitHub со своим ИИ-помощником Copilot вошел в группу лидеров и занял первое место по исполнительности.

Миссия GitHub Copilot – расширить границы человеческой креативности с помощью генеративного искусственного интеллекта. Copilot уже пользуются миллионы разработчиков и более 77 тысяч компаний, и это решение облегчает им работу и повышает продуктивность, заявляют авторы инструмента.

Планы на будущее

Чтобы добиться статуса самого популярного ИИ-инструмента для разработчиков, GitHub планирует расширять и укреплять Copilot, уделяя внимание усовершенствованной модернизации приложений, оптимизации миграции кода, повышению производительности и скорости разработки и другим факторам.

Также компания планирует серьезно расширять аудиторию Copilot. «Мы видим мир, в котором новички, любители и профессиональные разработчики могут создавать программное обеспечение с помощью магии Copilot. Мы считаем, что такая доступность позволит творить миллиардам разработчиков во всем мире» – заявил генеральный директор Томас Домке.

ИИ-ассистенты для медиков, юристов и обычных людей

• Почему ИИ-врач – пока лишь мечта?
• Насколько нейросети ускорят проверку договоров?
• Как запустить бота с нейросетями «для себя», а получить – 12 млн пользователей?

Для многих людей ИИ-ассистенты уже стали верными напарниками… но есть очень важные области нашей жизни, где нейросетям пока не рады.

Анна Веклич – со-основательница 12-миллионного Telegram-бота @GPT4Telegrambot с прямым доступом к нейросетям прямо в Telegram, а также автор курса «Нейрограмотность».

Валентин Микляев – со-основатель и гендир LegalTech платформы Noroots, которая охватывает целый спектр юридических задач.

Сергей Воропаев – основатель проекта Great Leveler, ИИ-ассистента для врачей по всему миру. 

⚡ Ранний доступ к базе знаний и чату про ИИ‑стартапы — startupsecrets.ru/ai

🙌Спец-сезон создается при поддержке Yandex Cloud.

Где послушать, подписаться и лайкнуть: 

• Яндекс Музыка

• Apple Podcasts

• YouTube

• Spotify

• На сайте подкаста «Стартап-секреты»

Приятного прослушивания! 🙌

В следующем эпизоде сериала: история основателя стартапа, который продал его за несколько млрд рублей Сберу.

💙 Подписывайся на подкаст в Телеграм: @podcaststartup

Когда вы спрашиваете голосовой помощник о погоде, курсе валют и пробках на дороге, он ищет в интернете свежие данные, извлекает их, после чего «оборачивает» в стандартную фразу и сообщает вам. Помогает ему в этом RAG — Retrieval Augmented Generation, что можно перевести как генерация (ответа) с использованием дополнительной информации.

Технически это метод программного дополнения вывода (большой) языковой модели данными из внешних источников. Его можно применить в задачах, где ИИ требуется постоянно оперировать свежими данными. Также этот метод позволяет адаптировать LLM под собственные базы знаний без необходимости дообучать её.

Например, RAG используют для подключения LLM в режиме реального времени к новостным каналам и лентам социальных сетей, дополнения выдачи поисковых систем актуальной информацией.

Несмотря на простую идею, внутреннее устройство RAG довольно сложно. Прежде, чем добавить данные в свой ответ, необходимо найти релевантную информацию в базе знаний. Для этого информация хранится в виде векторных представлений, которые позволяют выполнять семантический поиск.

Для этого приходится перефразировать запросы, разбивать их на фрагменты, ранжировать поисковую выдачу и делать много другой алгоритмической работы. Это и есть Retrieval — отдельное искусство «найти нужное дерево в лесу».

Подробнее о RAG читайте в этой статье.

Всем привет!

Немного мыслей по AI чатам.

Существует достаточно много open source моделей - LLama от запрещенной Meta, Mistral, DeepSeek, Grok 1 от Twitter. Если говорить про предыдущие, не самые мощные версии моделей - есть Gemma от Google, специализированные модели от OpenAI. Это хорошо, так как дает возможность подключения к разработке моделей команд, не имеющих большого числа GPU. Дообучение моделей (fine tuning) дешевле первичного обучения. Запуск обученной модели - тоже. Плюс open source - это гарантия, что к AI будет доступ даже если конкретный сервис по тем или иным причинам закроется. И Мета выделяется тем, что отдала в open source последнюю тяжелую (большое число параметров) версию модели.

Второй момент: в тестах и в новостях сравниваются модели общего назначения и специализированные. Общего назначения - ChatGPT, Claude, Gemini, Llama, Grok, DeepSeek, Mistral, YandexGPT. Специализированные, на примере разработки - DeepSeek-Coder-V2, Codestral, CodeLlama, Phind, GigaCode. Можно сделать вывод, что модели последнего поколения достаточно мощные, чтобы хорошо справляться со специализированными задачами. Но любую модель можно подтюнить, и тогда она или превзойдет модель общего назначения или будет сравнима с ней требуя меньше железа.

Еще тренд - разделение моделей на легкие и тяжелые. Например, LLama 8b, 70b и 405b, это число параметров в billions. Т.е. большие модели - это дорого в облуживании, при этом во многих случаях применяются для "стрельбы из пушки по воробьям".

Полезные нейронки. Часть 1.

MathGPTPro - нейронка специализируется на математике. Принимает и решает задачи в любом формате: текст, фото и даже голосовое описание.

PhotoMaker V2 - инновационный метод генерации реалистичных изображений людей на основе текстовых запросов, который сохраняет идентичность. Этот инструмент позволяет легко экспериментировать с разными стилями, менять возраст или пол, и даже смешивать идентичности, сохраняя при этом высокое качество и точность передачи образа.

Docalysis - дает ответы на все вопросы по вашим документам в течение нескольких секунд. Сервис экономит 95% вашего времени, затрачиваемого на чтение документов.

Face Swap - позволяет легко менять лица на фотографиях и видео. Чтобы использовать инструмент, просто загрузите фото или видеофайл, а затем выберите лицо для замены.

Danswer AI - ИИ-помощник для работы с документами. Сервис помогает извлекать ключевую информацию из файлов, экономя ваше время. Можно воспользоваться онлайн или развернуть сервис локально.

Tile-Upscaler - Нейросеть, которая позволяет улучшать размытые фотографии прямо в вашем браузере. Бесплатный аналог Upscayl с максимальным увеличением в 20 раз.

GPT4o Captcha Bypass - Этот проект представляет собой инструмент CLI для тестирования различных типов капч, включая головоломки, текст, сложный текст и reCAPTCHA, используя Python и Selenium. Инструмент также использует OpenAI GPT-4 для решения капч.

LHMedia в телеграме:

• Life‑Hack — Жизнь-Взлом

• Новостной канал

• Бесплатные видео курсы

США, Великобритания и Австралия провели совместные испытания БПЛА с искусственным интеллектом. Что нового?

Понятие ИИ, конечно, подзатёрли. Формально под него подходит и распознавание изображений, и даже автоматический выбор частот связи. Но в данном случае поясняется, что встроенный в БПЛА искусственный интеллект позволяет «оператору выявлять, выводить из строя и уничтожать цели на земле».

Такие дроны пригодятся не только для военных, но и для гражданских целей. Только условия связи не всегда стабильные, ёмкость канала лучше сэкономить, поэтому следующее поколение БПЛА сейчас стремятся наделить следующими возможностями:

1. Интеллектуальное определение сигнала. Не просто скинуть картинку оператору, а показать, где пожар, где дачники шашлыком развлекаются, а где — извержение вулкана.

2. Оптимальное реагирование на ситуацию. Если дрон идентифицирует человека в лесу как заблудившегося, а корабль в море — как терпящий бедствие, то в идеале сам должен сделать вираж и как минимум передать более подробное изображение, точные координаты.

3. Групповое взаимодействие. Если несколько дронов наблюдают за районом, они могут самостоятельно поделить зоны ответственности и сконфигурироваться так, чтобы получить максимум информации в минимальные сроки.

Мы не зря не стали уточнять тип БПЛА, это вполне могут быть и спутники. За счёт первичной обработки информации небольшие кубсаты смогут передать из космоса более полную картину, чем громоздкие спутники прежних поколений.

YandexGPT в OpenWebUI

Недавно я решил погонять нейросети от Yandex. До этого момента я активно использовал OpenWebUI для взаимодействия с локальными моделями и моделями от OpenAI. Этот интерфейс оказался весьма удобным и функциональным, его можно легко запустить через Docker или установить с помощью pip.

Для интеграции YandexGPT в OpenWebUI я создал форк популярного проекта LiteLLM, который, кстати, используется в OpenWebUI, и добавил поддержку YandexGPT.

Для тех, кто хотел бы повторить мой опыт, вот краткое руководство:

1. Клонируем мой репозиторий.

2. Настраиваем файл конфигурации

Содержимое конфигурационного файла ./litellm/proxy/config_yandex.yml:

model_list: 
  - model_name: yandexgpt-lite
    litellm_params: 
      model: yandex/yandexgpt-lite   
      api_key: AQVN30_PoL8sF6Yz-gzYLcwRV

  - model_name: yandexgpt-pro  
    litellm_params: 
      model: yandex/yandexgpt   
      api_key: AQVN30_PoL8sF6Yz-gzY1cwRV

3. Запускаем Docker командой:

docker-compose -f docker-compose-yandex.yml up --build

Так же можно без Docker.

1. Установливаем все необходимые зависимости через pip и запускаем проект напрямую:

cd litellm/litellm/proxy/
YANDEX_FOLDER_ID=<Ваш FolderID> python3 proxy_cli.py --config config.yml

Не забудьте настрить файл конфигурации, указав свои значения для Folder_ID и Token.

Репозиторий проекта можно найти по ссылке.

Друзья, приглашаем на новый бесплатный вебинар «Пределы промпт-инжиниринга и как за них выйти». Поговорим про типичные сценарии использования нейросетей, подходящие под них структуры промптов, а также универсальные принципы составления запросов, выявленные и подтвержденные множеством исследований. 

📅 Дата: 23.08.2024

⏰ Время: 15:00-16:00 (Мск)

На вебинаре:

✔️ Зачем нужны промпты.

✔️ Типы запросов к генеративным нейросетям.

✔️ Структуры промптов.

✔️ Техники промптинга.

✔️ Принципы составления промптов.

👨‍🎓 Спикер: Брейман Александр — эксперт Учебного центра IBS, кандидат технических наук, доцент департамента программной инженерии ФКН ВШЭ.

👉 Записаться 👈

Компании Content AI и «РЕД СОФТ» провели комплексное тестирование, подтверждающее корректность и работоспособность всех компонентов IDP‑платформы ContentCapture в операционной системе РЕД ОС. По итогам тестирования компании подписали сертификат о совместимости продуктов.

ContentCapture — это система, предназначенная для автоматизации извлечения данных из любых типов документов: отсканированных бумаг, фотографий, электронных документов, текстов писем и вложений. Решение на основе технологий искусственного интеллекта распознает и классифицирует документы, извлекает нужные данные, проверяет корректность и экспортирует в корпоративные информационные системы. ContentCapture включена в реестр отечественного ПО (№ 17 598) и рекомендована для замещения иностранных решений ABBYY FlexiСapture, Kofax Capture, IBM Datacap.

РЕД ОС — российская ОС общего назначения семейства Linux для серверов и рабочих станций. Продукт обладает сертификатом ФСТЭК России и входит в Реестр российского программного обеспечения Минцифры России. Разработка РЕД ОС ведется в закрытом контуре РЕД СОФТ, а исходные коды и пакеты находятся в собственном репозитории, расположенном на территории РФ.

Всем привет!

Ну что, началось)
https://www.piter.com/collection/all/product/programmirovanie-na-python-s-pomoschyu-github-copilot-i-chatgpt

Ок, ещё одна книжка про ChatGPT. Смотрим аннотацию: «Используя GitHub Copilot, можно простым языком описать, что должна делать программа, а искусственный интеллект тут же сгенерирует ее. Узнайте, как создавать и улучшать программы на Python с помощью ИИ, даже если прежде вы не написали ни строчки компьютерного кода.».

И ещё: « Глава 4 — первая из двух глав, в которых вы научитесь читать код на языке Python. Действительно, Copilot будет писать код за вас, но вам нужно уметь читать его, чтобы определить, будет ли он делать то, что вы хотите. И не волнуйтесь: Copilot поможет вам читать код!»

И это не ролик, не статья, целая книга... Войти в IT, если с первого раза не получилось) Интересно, на собесах Copylot уже используют?)

Меня только один вопрос мучает: если человек не захотел или не смог освоить язык программирования или фреймворк - как хорошо он сможет спроектировать сервис или алгоритм?

Дьявол — падший ангел. А ангелы — бесплодны (т. е. не могут сотворить чего‑то нового). Поэтому, по одной из версий, у Булгакова в «Мастере и Маргарите» Воланду нужен был Мастер, чтобы написать «Евангелие от Сатаны» — нужен был человек, потому что людям Бог дал возможность творить.

Искусственный интеллект в наши дни не может сотворить нового — он только комбинирует то, что было создано человеком, создавая причудливые сочетания из многократно повторяемых образов, мыслей, звуков...
Получается ИИ — это наш рукотворный дьявол? ...

P. S.: дальше каждый продолжает сам... Особенно я думаю Никита Сергеевич М. оценит аллегорию:)

P.P. S.: и да — картинка сгенернирована ИИ (Playground AI), но выбирал вариант человек.

Пресс‑службы VK сообщила Хабру, что новая умная колонка «VK Капсула Про» с голосовым помощником «Маруся» будет представлена в первой половине осени.

Устройство получило обновлённый внешний вид и мощность звука до 65 Вт.

В колонке «VK Капсула Про» будут реализованы новые возможности управления умным домом, а также встроены датчики температуры, влажности и освещённости. Устройство будет иметь датчик присутствия, который работает на алгоритмах обработки ультразвуковых волн.

Фактически, приобретая новую колонку, пользователи получат базовый умный дом. Кроме того, команда «Маруси» работает над улучшением функциональности голосовых AI‑технологий».

По информации VK, в первом квартале 2024 года пользователи совокупно провели на 50% больше времени, используя голосового помощника в сервисах VK, чем в первом квартале 2023 года. Общий time spent "Маруси" в VK Капсулах вырос на 53% год к году.

Команды «Маруси» и «VK Капсулы» с прошлого года начали объединение в единое направление, которое развивает контентные и рекомендательные системы во всех сервисах VK, искусственный интеллект и умные устройства. В мае были запущены продажи «VK Капсул» в Беларуси, а в июле — новая функциональность: «Маруся» научилась читать статьи из «Дзена».

Лаборатория искусственного интеллекта «Сбера» совместно с Центром индустрии здоровья «Сбербанка» и Лабораторией рентгенэндоваскулярных методов диагностики и лечения Тюменского кардиологического научного центра — филиала Томского НИМЦ РАН предложили решение, которое позволяет по видеофайлам коронарографии автоматизировать расчёт SYNTAX‑балла — методики оценки тяжести поражения при ишемической болезни сердца.

Система уже работает в информационно-справочном режиме, результат модели искусственного интеллекта (AI) не является медицинским заключением и не заменяет его.

Врачи и пациенты могут загрузить своё исследование на сайт Тюменского кардиологического научного центра. AI‑модель в тестовом режиме рассчитает значение по шкале SYNTAX. Медицинским работникам сервис будет полезен как второе мнение по интерпретации результатов исследования, а пациенты смогут использовать результаты оценки при обращении к врачу за дополнительной консультацией.

Научная работа End-to-end SYNTAX score prediction: benchmark and methods о проведённом исследовании рецензируется на крупной международной конференции по компьютерному зрению WACV 2025.

Программист из Индонезии разработал небольшой шуточный проект GitHub Profile Roast. Как следует из употреблённого в разговорном оттенке слова «roast» в названии, целью сервиса является творчески и с шутками оскорбить пользователя, максимально используя для этого личные детали. Делать это сервис пытается на основе аккаунта GitHub.

Посетителю предлагается ввести имя своего аккаунта на GitHub. Затем сервис подтянет данные из GitHub и страница выплюнет несколько абзацев креативных оскорблений, умело связанных с личными данными и проектами на заданном аккаунте. К примеру, сервис может ехидно высказаться о низкой популярности профиля или попсовости выбранного стека технологий.

Сервис работает на английском и французском языках, а также на нескольких неевропейских, популярных в Юго-Восточной Азии (хинди, индонезийский, корейский, японский, китайский). Русского в этом списке нет.

Работает это всё через доступ к API компании OpenAI. Какой-либо умной защиты промпта нет. Как продемонстрировали в микроблогах, провести инъекции в промпт было относительно легко.

Из других любопытных наблюдений: сервис отказывается работать с некоторыми профилями. Среди замеченных в подобном Линус Торвальдс (имя пользователя torvalds) и часть аккаунтов компаний, к примеру, Microsoft и Google. Вместо череды колкостей сайт выдаёт вежливый отказ оскорблять этого пользователя. Возможно, это некий чёрный список, который автор сервиса заложил, чтобы сохранить механическую целостность фронтальной части своей головы.

Представлен бесплатный нейроапскейлер AuraSR-v2 с бустом разрешения любых изображений в восемь раз. Заливаете шакал — получаете качество профессионального фотоаппарата.

Проект работает из браузера, в нём нет рекламы, нет водяных знаков и не требуется кредитов на апскейл.

В «Яндексе» научили нейросеть YandexART восстанавливать архивные видеозаписи и кинохронику. Эта опция может быть полезна кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. Например, нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала Кинопоиска «Игры» о подготовке и организации Олимпиады-80.

Благодаря новой возможности YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.

Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть,
которая создаёт и улучшает изображения и анимацию, а также обрабатывает
загруженные фотографии. Разработчики научили модель не «галлюцинировать» для этого проекта. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.

Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения «Яндекса», Yandex Research и «Плюс Студии».