Доброго дня/вечера! Статья по использованию в Suno опции Audio Input (в продолжение предыдущей статьи о Suno).

Кратко. Вы загружаете короткий (6-60 сек) фрагмент аудио, задаете Стиль, текст (если песня) или нет (если Instrumental), а Suno его "дописывает", доигрывает. С опцией "Get Whole Song", как и ранее, можно объединить исходное и новое в одну композицию.

Суть (как я понимаю) в том, что алгоритм пытается распознать закономерности в загруженном фрагменте, я бы даже сказал "музыкальное содержание" не в эмоциональном человеческом понимании - грустно, весело, трагично и т.п., а в формальном смысле - какая ритмическая структура, какая гармоническая последовательность, где мелодические линии, какие штрихи, тембры, какая форма. Хотя это тоже "человеческое", робот, скорее, ищет закономерности в графическом (спектральном) представлении всего этого. В итоге это берется за основу, чтобы продолжить "рисовать".

Кажется есть одна близкая аналогия: если вам дадут обрывок картинки и попросят дорисовать, что получится? Чем больший фрагмент вам выдан, тем меньше будет ошибок, "произвола" в дорисовке. Также и Suno. Я пробовал и 6 сек., и 60. В первом случае было мало чего "повторять", а при максимальной длине у системы есть что анализировать - по хорошему, в 1 минуту можно вложить короткий инструментальный проигрыш, куплет и припев - т.е. почти весь значимый материал песни.

Важный момент: чужие фрагменты подгружать нельзя (т.е. те, на которые у вас нет прав) - появляется Pop-Up окошко. А как хочется "скормить" 60 сек. что-то вроде "Stairway To Heaven" / Led Zeppelin - и "доиграть" уже со своими словами!

Разработчик технологий разговорного ИИ Just AI выводит в продакшн гибридный синтез речи и представит технологию на бесплатном вебинаре 17 марта. Гибридный синтез позволяет быстро заменять любые фразы в аудиодорожках, записанных диктором для голосового бота, требуется только отредактировать текст. При этом синтезированная речь будет в точности сохранять интонацию, с которой диктор произносил неизмененные части реплики, и экстраполировать ее на новый текст так, чтобы он звучал естественно и не выделялся из контекста. 

Nvidia на конференции Interspeech показала модель диалогового ИИ для выразительного синтеза речи, чтобы генерировать голоса для персонажей, виртуальных помощников и персонализированных аватаров. Технология позволяет имитировать ритм, интонации и тембры голосов людей.

Многие пользователи не только читают книги, но и слушают их аудиоверсии. Это бывает удобно в транспорте или в фоновом режиме, а для кого-то речь профессионального диктора и вовсе заменила текст. Спрос на такие версии растёт: более 80% пользователей Букмейта (книжный сервис Яндекс Плюса) хоть раз обращались к аудиоформату для знакомства с литературой. 

К сожалению, далеко не для всех книг такие версии существуют, но мы придумали, как помочь пользователям. В Букмейте появился виртуальный рассказчик. Он позволяет в режиме реального времени слушать книги, у которых нет предзаписанных аудиоверсий. На данный момент рассказчик доступен для 13 000 книг.

Виртуальный рассказчик создан специально для чтения книг вслух. Он разработан на базе комплекса речевых технологий Яндекса с привлечением профессиональных дикторов. Воспроизведение текста максимально приближено к естественной речи, поэтому читателю комфортно слушать произведения на протяжении долгого времени.

Исследователи Университета Корё (Южная Корея) выпустили модель машинного обучения, предназначенную для преобразования текста в голос. Производительность разработки превосходит решения на базе больших языковых моделей и диффузии.

Ритуальная служба «Ритуал.ру» совместно с компанией Dragons Code заключили соглашение о запуске первого в России цифрового «Нейрокладбища». Стартовые инвестиции в проект пока составляют ₽30 млн, а само кладбище будет находиться в Москве. По словам службы «Ритуал.ру», услуга станет революционным решением в ритуальной сфере, помогая людям справляться с горечью утраты и тяжёлой депрессией.

«Сбер» выпустил приложение SaluteSpeech App для распознавания речи и озвучивания текста, построенное на базе одноимённой платформы. Доступны сборки для Windows и macOS.

Энтузиаст Майкл Дарби представил свой проект на базе Raspberry Pi 4. Ему удалось воссоздать голову терминатора T-800.

Речевой протез, разработанный совместной группой нейробиологов, нейрохирургов и инженеров Университета Дьюка, может переводить сигналы мозга человека в то, что он пытается сказать.

Новая технология, описание которой опубликовано в журнале Nature Communications, может помочь людям, неспособным говорить из-за неврологических расстройств, вновь обрести способность общаться с помощью интерфейса «мозг-компьютер».

Чего нам, как клиентам, хочется в разговоре с поддержкой по телефону? Чтобы на той стороне нас услышали, поняли и решили проблему в кратчайшие сроки, а не заставляли слушать все симфонии Моцарта. При этом тренды клиентского сервиса на ближайшие годы говорят нам о том, что роботизация звонков будет продолжаться.

Голосовые роботы на основе искусственного интеллекта настолько проникли в нашу жизнь, что мы с трудом отличаем живого собеседника от робота на другом конце провода. ИИ не собирается останавливаться на достигнутом и продолжает совершенствоваться, набирая вес на рынке. Перед компаниями встает непростой выбор - как не слить клиентов и при этом идти в ногу со временем. 

Voximplant совместно с Cloud нашли решение и готовы поделиться с вами не только трендами развития рынка коммуникаций при помощи ИИ, но и рассказать про реальные живые кейсы использования подобных инструментов в бизнесе и способы экономии с помощью роботизации.

? 30 марта в 11:00 Voximplant и Cloud погрузятся в недры технологий на вебинаре “Распознавание и синтез речи на практике. Кейсы SaluteSpeech и Voximplant”. 

2 декабря в Москве в онлайн- и офлайн-формате состоится Conversations – ежегодная конференция по разговорному AI для разработчиков и бизнеса. Про NLP-сервисы, диалоговые платформы и фреймворки, синтез и распознавание речи, UX и проектирование разговорных интерфейсов, генеративные модели и не только расскажут KODE, MTS AI, Альфа-Банк, Сбер, Yandex Cloud, DeepPavlov и другие эксперты. В нашем анонсе – особо интригующие спойлеры и промокод на скидку.

На YouTube-канале Synthetic вышло видео, в котором голосом Стива Джобса рассказывается о преимуществах чат-бота ChatGPT.

Веб-сервис по чтению rss-потоков. Синтез русской речи