Искусственный интеллект

Почему ChatGPT не заменит разработчиков

Часто слышу беспокойство по поводу ИИ, типа «программисты будут не нужны».

Недавно сталкивался с продуктом, рожденным при помощи ChatGPT. У руля ИИ был человек, который очень поверхностно понимал что такое разработка. Он смог довести продукт до рабочего состояния, но ChatGPT захлебнулся на моменте интеграции firebase для регистрации пользователей и внедрения формы оплаты. На внедрение этих фичей человек начал искать реальных разработчиков.

Я посмотрел на исходный код и ужаснулся: 

❗️Код представлял из себя портянку одного React компонента на тысячу строк

❗️GhatGPT взял топовые технологии: Next.js, TypeScript, Tailwind, Versel. Но Tailwind выглядел жестко – это были длинные портянки классов, которые невозможно разобрать

❗️Я уже молчу про нормальный дизайн и UX. ChatGPT делает корявенько, мягко говоря

Создание хорошего продукта – это не просто написать N строчек кода. Часто нужно интегрировать продукт с другими сервисами, продумывать архитектуру, а самое главное – писать масштабируемый поддерживаемый код для людей. Все это не может делать ChatGPT.

Программист нашелся, но вместо двух фич он получил вагон техдолга на старте. 

ИИ будет максимально полезен, когда не нужно будет за ним разбирать, что он нагенерировал. Если он будет делать решения под ключ, то тогда это будет эффективно. А пока такие технологии хороши для проверки гипотез, но дальше работают профи.

***

Подписывайтесь на мой телеграм-канал Вайтишная: пишу честно про IT и про свой опыт

Гиперпараметры модели

В разговорах про нейросети часто можно услышать термин "гиперпараметры". Мы попросили наших экспертов из лаборатории больших данных пояснить, что он означает.

Когда говорят про гиперпараметры модели, имеют в виду такие параметры модели машинного обучения, которые не подбираются автоматически в ходе тренировки. Они должны быть явно заданы перед началом обучения. Например, это количество скрытых слоёв нейросети и размер пакета данных для обработки за одну итерацию.

Процесс настройки гиперпараметров применяется для нахождения их комбинации, которая максимизирует производительность модели на конкретной задаче.

Обычно настройка выполняется методом проб и ошибок. Разработчики перебирают различные значения гиперпараметров и оценивают их влияние на метрики качества модели. Для определения оптимальных значений гиперпараметров могут использоваться такие методы, как поиск по сетке и случайный поиск.

Корректно подобранные гиперпараметры могут также улучшить способность модели к обобщению и оптимизировать её работу с учётом конкретной аппаратной платформы.

Облачная платформа Yandex Cloud представила 8 новых голосов с разными эмоциями в сервисе Yandex SpeechKit. Теперь компании смогут использовать в синтезе речи приветливую, строгую интонации или даже шепот. Это позволит компаниям-разработчикам менять окраску синтеза речи в зависимости от бизнес-сценария и повышать удовлетворенность клиентов и конверсию в голосовых каналах. Кроме этого, в сервисе появился новый параметр, который позволяет изменять высоту голоса.

Разнообразие голосов в Yandex SpeechKit позволило сделать диалоги роботов менее шаблонными, нативными. При создании новых голосов разработчики Yandex SpeechKit изменили не только работу модели машинного обучения, но и текстовую базу, которую использовали дикторы. Это позволило улучшить звучание голосов в вопросительных и восклицательных предложениях, которые являются сложной задачей для синтеза речи.

«Синтез речи — это популярная технология для автоматизации коммуникаций в контакт‑центрах и не только. Нам, как разработчикам, важно в том числе, чтобы диалоги с голосовыми роботами были человечными и комфортными для обычных людей. В будущем мы планируем предоставлять пользователям еще больше новых голосов», — пояснил Хабру CPO облачной платформы Yandex Cloud Григорий Атрепьев.

В программу международной конференции по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals, которое проводилось совместно с учёными из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.

Petals — это система с открытым исходным кодом для работы с большими нейронными сетями не только на суперкомпьютерах и для небольших команд исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы. 

Помимо доклада о Petals в программу NeurIPS 2023 вошли исследования учёных из команды Yandex Research, включая:

• алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения;

• алгоритм прореживания передовых трансформерных моделей для компьютерного зрения;

• оценку устойчивости передовых моделей графовых нейросетей;

• метрику для квантификации степени гетерофильности заданного графа;

• схему распределённой оптимизации для задач вариационных неравенств;

• анализ стохастического градиентного спуска с нижними оценками на его сложность.

ByteDance уличили в использовании технологии OpenAI для продвижения собственной большой языковой модели. Поведение китайской компании не только не одобряется индустрией искусственного интеллекта, но и нарушает условия обслуживания OpenAI.

Клиентам разработчика ChatGPT запрещено разрабатывать какие-либо ИИ-модели, конкурирующие с продуктами и услугами OpenAI. Они также не могут извлекать данные из сервисов, кроме разрешённых через API.

ByteDance знала об этом и продолжала использовать API для обучения и сравнения со своей моделью, получившей название Project Seed. В китайской компании проводили инструктирование по маскировке доказательств использования решения OpenAI, пишет Verge со ссылкой на внутреннюю переписку.

Позже ByteDance дала указание сотрудникам перестать использовать API для разработки Project Seed примерно в то время, когда её чат-бот Doubao получил одобрение регулирующих органов для запуска в Китае. По данным, Verge компания-владелец TikTok продолжает использовать технологию OpenAI для оценки производительности своего чат-бота.

Недавно я задумался о том, как можно сделать LLM креативным. Кроме регулировки температуры, какие еще способы есть? Рассматривал ли кто-нибудь возможность получения более уникальных ответов от LLM, если изначально давать ему необычные промпты? Вроде в playground OpenAI, раньше была функция отображения вероятности токенов, но сейчас ее нет. Есть ли у вас предложения по повышению креативности LLM? Существуют ли модели LLM, которые предоставляют информацию о вероятности токенов в своих ответах? Уместно ли ставить равно между более редкими токенами в ответе и большей креативностью?

Специалисты «Яндекса» сравнили качество ответов YandexGPT 2 и GPT 3.5. Исследование показало, что в 63% случаев собственная языковая модель «Яндекса» отвечает на запросы лучше, чем нейросеть компании OpenAI.

Исследование проводилось методом сравнения Side by Side (SBS). Обе нейросети отвечали на один и тот же запрос, а AI-тренеры выбирали лучший ответ, не зная, какая именно модель его сгенерировала. Корзину запросов сформировали из обезличенных обращений пользователей сервисов «Яндекса» к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.

«Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов», — пояснил технический директор «Яндекс» Поиска Алексей Гусаков.

В начале сентября «Яндекс» представил языковую модель YandexGPT 2. Новая модель отвечает лучше старой в 67% случаев, а в некоторых сценариях побеждает с ещё бо́льшим перевесом. Разработчики пояснили, что добились этого результата благодаря улучшениям на каждом этапе обучения модели, но ключевое изменение — новый pretrain.

Появилось исследование, в котором рассматривается процесс работы с issue в репозиториях шести популярных ML-библиотек: Tensorflow, Keras, Theano, Pytorch, Caffe, и Scikit-learn. Так, самыми частыми проблемами стали баги, вопросы по документации и производительность. Оказалось, что лучше всего с issue работают в Tensorflow и Scikit-learn. В среднем первый ответ появляется в течение двух и девяти дней, соответственно. Наряду с этим количество комментариев в issue оказывает влияние на скорость разрешения проблемы. Пользователи Caffe, Scikit-learn, Theano и Keras чаще сталкиваются с вопросами тестирования, а Tensorflow, Pytorch, Caffe, и Keras с нюансами рантайма.

Каким будет ваш 2024 год? Узнайте у новогоднего бота Selectel 🦖

Не знаете, чем заняться на зимних праздниках? Для вас мы создали бесплатного бота, который поможет нескучно провести время: расскажет, что почитать, посмотреть или приготовить, подберет тотемное животное на 2024 и предскажет будущее. Предсказания ему передает искусственный интеллект, но не переживайте: с Selectel вас ждет только хорошее. 

Получить предсказание →

Запустите бота и примите участие в розыгрыше лимитированного мерча Selectel!

Парейдолия — зрительная иллюзия, когда восприятие обнаруживает объекты, узоры или значения там, где их нет и быть не может. Чаще всего под этим словом понимают то, как мы обнаруживаем человеческие лица в самых неожиданных местах — на снимках Марса, например. Хотя вообще-то это может любой другой объект.

На странице replicate.com/fofr/sdxl-hidden-faces запущен файнтюн для Stable Diffusion XL, который специально заточен для встраивания парейдолии на разные объекты.

Под «встраивать парейдолии» в данном случае понимается «добавлять лица на фотографии еды». Во всяком случае, в примерах только разнообразные блюда (бургеры, салат, блины и так далее). Впрочем, генерация неплохо работает и для других объектов.

Более общий смысл термина не рассматривается. Вообще-то разновидностей парейдолии много: к примеру, в «Гамлете» Шекспира персонажи разглядывают зверей в облаках, что намекает на скрытые качества героев. Здесь же просто дорисываются два круглых глазика и что-то, похожее на рот.

Чтобы работало лучше, в промпте приходится явно упоминать pareidolia и hidden face.

К Новому году диффузионная нейросеть YandexART сгенерирует для пользователей реалистичные изображения ёлочных украшений в нескольких стилях. Ими можно украсить цифровую ёлку на главной странице «Яндекса» ya.ru.

Погрузиться в атмосферу новогоднего праздника поможет мобильное приложение «Шедеврум», где уже появился специальный режим «Ёлочная игрушка».

Чтобы украшение по запросу пользователя попало на главную страницу «Яндекса», необходимо сгенерировать изображение игрушки в новом режиме «Шедеврума» и выбрать опцию «Отправить на ёлку» перед его публикацией. Игрушка будет радовать её создателя и других пользователей до окончания праздников. Повесить на ёлку можно только одно украшение. Чтобы его заменить, нужно просто сгенерировать новую игрушку с опцией «Отправить на ёлку». При этом в «Шедевруме» можно создать любое количество новогодних украшений.

В «Яндексе» пообещали, что каждый участник новогоднего проекта сможет получить подарок: скидку на покупку умных устройств, специальные условия на подписку «Плюс» и повышенный кешбэк баллами, скидка «Маркета», «Лавки», «Еды», «Деливери», «Путешествий» и «Афиши», дополнительный объём хранилища на «Яндекс Диске» и так далее.

Разработчики пояснили. что «ёлочная игрушка» — первый специальный режим генерации «Шедеврума», который уже доступен всем пользователям.

Джейсон Вэй — известный исследователь направления языковых моделей. Имя Джейсона стоит первым на различных научных докладах Google: про эмерджентные способности (arXiv:2206.07682), промптинг в стиле цепочки рассуждений (arXiv:2201.11903) и FLAN (arXiv:2109.01652).

У Джейсона есть брат Джерри Вэй, который стажировался в различных структурах Google. С мая Джерри проходил стажировку в Google DeepMind, а с июля 2023 года работает там на постоянной основе. Джерри тоже успел отличиться и выпустил доклад про symbol tuning (arXiv:2305.08298).

Джейсон же в феврале этого года перешёл из Google в отдел ChatGPT в компании OpenAI. Как рассказывает перебежчик, культура в компаниях заметно отличается: вместо небольших исследовательских групп Google пришлось привыкать к крупным командам OpenAI. Чтобы адаптироваться, Джейсон рекомендует больше внимания уделять документации, простоте дизайна и качеству инструментов разработки. Также, если верить Джейсону, в OpenAI кормят лучше, чем в Маунтин-Вью, хотя ещё вкуснее еда в сингапурском офисе Google.

Братья не прекращают общение и регулярно видятся, но не забывают подтрунивать мемами в социальных сетях друг над другом.

Сэм Альтман (глава OpenAI) стал CEO (гендиректором) 2023 года по версии Time.

Как отмечает издание, ChatGPT стал самым быстро внедряемым продуктом за всю историю, а влияние нейросети было преобразующим как для компании, так и для всего мира. Альтман, указывает Time, стал одним из самых влиятельных и уважаемых руководителей в мире.

17 ноября 2023 года в отставку ультимативно отправили Сэма Альтмана за 20 минут в Google Meet (хронология этого события).

22 ноября 2023 года OpenAI объявила, что Сэм Альтман вернулся в компанию в качестве генерального директора с новым составом совета директоров.

Интересно, читают ли посты на Хабре. Вот сейчас и проверим — у нас две хорошие новости про YandexGPT.

Во-первых, мы открыли API  — теперь для всех пользователей в режиме превью. Это значит, что вы сможете использовать возможности нашей языковой модели в своих решениях.

Во-вторых, готовимся к запуску бета-тестирования новых возможностей Алисы на базе YandexGPT 2. Чтобы записаться в бета-тестеры, нужно отправить заявку на сайте.

Точность и полнота нейросетей

В своих разработках «Криптонит» использует искусственные нейронные сети. И мы продолжаем пояснять термины.

В машинном обучении precision (точность) и recall (полнота) являются двумя метриками, используемыми для оценки производительности алгоритмов классификации. Они численно показывают, насколько успешно классификатор отделяет объекты одного класса от другого.

Точность (P) измеряется как доля верно классифицированных объектов от общего числа положительных примеров (в которых классификатор счёл, что пример содержит объект данного класса).

Точность вычисляется по формуле P = TP / (TP + FP), где TP — количество истинно положительных примеров, а FP — количество ложноположительных примеров.

Полнота (R) показывает долю правильно классифицированных положительных примеров от общего числа истинно положительных примеров.

Формула для расчёта полноты: TP / (TP + FN), где FN — количество ложноотрицательных примеров.

При увеличении точности обычно уменьшается полнота и наоборот. Это связано с предсказаниями, которые классификатор делает при принятии решения о том, к какому классу отнести каждый пример. При выборе между точностью и полнотой необходимо учитывать конкретные требования задачи.

Если важно минимизировать ложные положительные прогнозы (неверно классифицированные негативные примеры), стоит ориентироваться на точность. Если важнее избегать пропуска положительных примеров (нужно минимизировать ложные отрицательные прогнозы), стоит ориентироваться на полноту.

На личном сайте Брендана Байкрофта на странице bbycroft.net/llm опубликована интерактивная визуализация работы большой языковой модели.

Всё работает прямо в браузере с пошаговой обработкой промпта. По нажатию пробела происходит переход от одной стадии к другой. Алгоритмическая сложность разнообразных структур демонстрируется в трёхмерном пространстве. Архитектура модели наглядно разбита на отдельные составляющие, будто это конвейер мебельной фабрики.

Код проекта выложен на аккаунте Байкрофта на GitHub.

github.com/bbycroft/llm-viz

Группа исследователей из компании Hugging Face и Университета Карнеги-Меллона опубликовала результаты анализа энергопотребления при выполнении различных моделей машинного обучения.

Наиболее энергозатратными оказались модели машинного обучения, обеспечивающие генерацию изображений, а наименее затратными — классификации текста. Средние показатели энергопотребления моделей генерации изображений примерно в 1500 раз выше, чем классификации текста, и в 60 раз выше генерации текста.

Например, выполнение 1000 итераций наиболее энергозатратной модели генерации изображений потребовало 11,49 кВт*ч энергии, что соответствует 950 зарядам аккумулятора смартфона, то есть одна генерация изображения по энергопотреблению соответствует примерно одной средней ежедневной зарядке смартфона (0,012 кВт*ч).

Потребление наиболее энергоэффективной модели генерации изображений составило 1,35 кВт*ч на 1000 итераций, что в 8 раз лучше наименее эффективной модели. Тем не менее, эти показатели значительно выше, чем у других видов моделей, например 1000 итераций наиболее эффективной модели генерации текста потребляет 0,042 кВт*ч, классификации изображений — 0,0068 кВт*ч, а классификации текста — 0,0023 кВт*ч.

Источник: OpenNET.

Самое крутое видео о том как работают и обучаются большие языковые модели.

Andrej Karpathy обладает невероятным талантом рассказывать просто о сложных вещах в ML и LLM.

День рождения ChatGPT 🎂

Сегодня первый день рождения ChatGPT, модели, которая перевернула мир ИИ и вызвала настоящую гонку среди технологических гигантов и стартапов в области искусственного интеллекта.

ChatGPT, разработанный OpenAI, представляет собой прорыв в области разговорных ИИ. Эта модель обладает уникальной способностью вести беседу, отвечать на последующие вопросы, признавать свои ошибки, оспаривать неверные предположения и отклонять неприемлемые запросы​​.

ChatGPT является моделью, родственной InstructGPT, ориентированной на выполнение инструкций, содержащихся в запросах и предоставление подробных ответов​​. Она была обучена с использованием метода RLHF, похожего на метод, использованный для InstructGPT, но с некоторыми отличиями в сборе данных.

Несмотря на свои впечатляющие возможности, ChatGPT иногда выдает правдоподобные, но некорректные или бессмысленные ответы. Решение этой проблемы осложнено, поскольку во время обучения с подкреплением у модели нет источника истины, а ее обучение с уклоном быть более осторожной заставляет ее отказываться от того, чтобы давать ответы на вопросы, на которые она может правильно ответить​​.

ChatGPT не только значительно продвинул развитие разговорных ИИ, но и стал катализатором для дальнейших инноваций в этой быстро развивающейся области​, открывшей новые пути для исследований и применения в самых разнообразных сферах.

Извлечение обучающих данных из ChatGPT

Группа исследователей из Google DeepMind, University of Washington, Cornell, CMU, UC Berkeley и ETH Zurich разработала методику атаки, позволяющую извлекать обучающие данные из модели ChatGPT. Это открытие, описанное в их недавней статье, поднимает важные вопросы о защите конфиденциальности и безопасности данных, используемых для обучения моделей, таких как GPT.

Авторы смогли извлечь несколько мегабайт обучающих данных за примерно двести долларов и дают оценку, что примерно гигабайт обучающего набора данных ChatGPT может быть извлечен если потратить больше.

Метод атаки довольно "глуп" — промт, который инструктирует модель бесконечно повторять слово, что приводит к тому, что модель начинает воспроизводить точные копии своих обучающих данных, включая конфиденциальную информацию, такую как адреса электронной почты и номера телефонов.

Уникальность этой атаки заключается в том, что в ней использовалась модель в производственной среде, настроенная таким образом, чтобы не выдавать большое количество обучающих данных. Однако, исследователи обнаружили уязвимость, которая позволила им обойти процедуру выравнивания модели, предназначенную для защиты конфиденциальности. Это показывает, что даже продвинутые системы искусственного интеллекта, которые претерпели сложные процессы настройки и оптимизации, все еще могут содержать скрытые уязвимости, доступные для эксплуатации.