Звук

Свежий выпуск про видеоконференцсвязь и AV-технологии.

Машинное обучение

В третьей части анализа аудиоданных мы разберем относительно простой и более быстрый способ классификации аудиофайлов - алгоритм машинного обучения - SVM (Support Vector Machines) / машины опорных векторов.

В двух частях анализа аудиоданных мы рассмотрели характеристики, которые есть у каждого аудиосигнала и извлечение значимых характеристик.

Мы получили набор данных, содержащий значимые характеристики аудиоданных (45 значений) в машиночитаемом виде - Двухмерная таблица - Dataframes, состоящая из 47столбцов и 50000 строк.

1 часть

2 часть

Все признаки (характеристики) важны при анализе аудиоданных, так как описывают физические свойства звука: высоту, громкость, тембр и т. д.

При прохождении воздуха через голосовые связки возникают вибрации, которые в виде упругих волн распространяются в среде. Каждый звук представляет собой набор волн. Это основной тон - волны гендерной идентификации ( у каждого говорящего базовая частота основного тона  индивидуальна и обусловлена особенностями строения гортани, в среднем для мужского голоса она составляет от 80 до 210 Гц, для женского - от 150 до 320 Гц. ). Это волны - обертоны ( призвуки, которые выше основного тона) и волны форманты (распознавание речи) связанные с уровнем частоты голосового тона, которые образуют тембр звука.

Здравствуйте, друзья !

В этой статье я хочу поделиться с вами своим очередным изобретением в области звукозаписи, которое, по моему мнению, может найти широкое применение при записи живой музыки как в концертном зале так и студии, так же возможно использование в домашних условиях. Не исключено применение в робототехнике, в качестве ушей для роботов .

Идея успешно прошла патентный поиск и сейчас проходит стадии оформления в ФИПС в качестве изобретения. Конечно, для реализации понадобится НИОКР и прочие стадии для коммерциализации. Одному, мне не под силу, а помощи от гос-ва, к сожалению ждать не приходится, поэтому выкладываю свои идеи здесь, на Хабре с целью заинтересовать бизнес.

Здравствуйте, друзья ! В этом коротком посте я спешу поделиться с осенившей меня мыслью, касающейся формированию глубины 3D сцены. Прежде всего, хочу обратиться к звуковым инженерам, разработчикам видео-игр, был бы рад услышать Ваше экспертное мнение .

Как нам всем известно, окружающий нас звук обладает рядом параметров : основными из которых являются АЧХ источника, окружающая среда и направление. Уже существует множество технологий, позволяющих сэмулировать объёмный звук в наушниках . Есть ряд технологий различных компаний, в которых учитываются задержки между левым и правым ухом а так же изменения в АЧХ при различных положениях головы от источника звука . Но, отсутствует один , на мой взгляд, ключевой параметр, это задержка звука от источника до слушателя, то есть не учтено время за которое звуковая волна доходит от источника до слушателя. В основном мы слышим удалённый объект с меньшей громкостью, но без учёта той самой временной задержки . Конечно, необходим визуальный контакт, но как мне кажется, такие задержки добавят глубину сцены . Как Вы считаете ?

DELAYVERB — это проект дискретного ревера на 12шт микросхемах PT2399, решил поделиться процессом в надежде привлечь участников.

Даже устроил конкурс в группе на розыгрыш драм синтезатора CORON DS8 о котором скудно писал раньше.

В статье попробую описать с чего я начинал, как устроен и чего я ожидаю от готового ревера.

Так же обязательно размещу открытую информацию о проекте в Github (у меня там кстати уже несколько проектов) и в группе ВК.

В первой части анализа аудиоданных мы рассмотрели характеристики, которые есть у каждого аудиосигнала.

Анализ аудиоданных (часть1) - https://habr.com/ru/post/668518/

Характеристики аудиофайлов для разных аудио записей.

В наборе аудиоданных есть Human files - 10322 файла ( записи “живого” голоса (класс 1)) и Spoof files - 39678 файлов ( записи синтетического/конвертированного/перезаписанного голоса (класс 2)) . В одном аудиофайле (3 - 6 сек) голос мужской или женский что-то говорит на каком-то языке (английском, русском, немецком, китайском)

Вот так выглядят характеристики аудиофайлов для разных аудио записей:

В нашей прошлой статье мы ускорили наши модели в 10 раз, добавили новые высококачественные голоса и управление с помощью SSML, возможность генерировать аудио с разной частотой дискретизации и много других фишек.

В этот раз мы добавили:

• 1 высококачественный голос на русском языке (eugeny);
• Синтез на 20 языках, 174 голоса;
• В список языков входят 5 языков народов СНГ: калмыцкий, русский, татарский, узбекский и украинский;
• В список языков входят 5 вариаций на тему романо-германских языков: английский, индийский английский, испанский, немецкий, французский;
• Также в список языков входят 10 языков народов Индии;
• Новую значительно улучшенную модель для простановки ударений и буквы ё со словарем в 4 миллиона слов и точностью 100% (но естественно с рядом оговорок);
• Все модели наследуют все "фишки" прошлого релиза, кроме автоматической простановки ударений для языков отличных от русского;

Пока улучшение интерфейсов мы отложили на некоторое время. Ускорить модели еще в 3+ раза мы тоже смогли, но пока с потерей качества, что не позволило нам обновить их прямо в этом релизе.

Попробовать модель как обычно можно в нашем репозитории и в колабе.

Моя инновационная технология по формированию объёмного звука в наушниках.

Начала глючить магнитола. С 2012-го года работала. А теперь тихо звук играет, но при прибавлении свыше 26 затыкается. Секунд через десять снова прорывает на полсекунды, и опять тишина… Подозрение пало на электролитические конденсаторы — они склонны высыхать, терять при этом емкость, что приводит к возбуждению микросхемы усилителя, её перегреву, и срабатыванию тепловой защиты.
Снял музыку. Принес домой. Разобрал. Подозрительных конденсаторов не обнаружил, зато увидел другую странность: установлена четырехканальная микросхема TDA7377, но при ней всего два разделительных электролитичеких конденсатора. Для двухканального мостового включения они не нужны вообще, для четырехканального их и нужно, соответственно, четыре. Для успокоения совести поискал схемы.

Каждый аудиосигнал содержит характеристики. Из MFCC (Мел-кепстральных коэффициентов), Spectral Centroid (Спектрального центроида) и Spectral Rolloff (Спектрального спада) я провела анализ аудиоданных и извлекла характеристики в виде среднего значения, стандартного отклонения и skew (наклон) с помощью библиотеки librosa.

Для классификации “живого” голоса (класс 1) и его отделению от синтетического/конвертированного/перезаписанного голоса (класс 2) я использовала алгоритм машинного обучения - SVM (Support Vector Machines) / машины опорных векторов. SVM работает путем сопоставления данных с многомерным пространством функций, чтобы точки данных можно было классифицировать, даже если данные не могут быть линейно разделены иным образом. Для работы я использовала математическую функцию, используемой для преобразования (известна как функция ядра) - RBF (радиальную базисную функцию).

В первой части анализа аудиоданных разберем:

Привет!

В этом посте мы расскажем про аудиобейджи и их роль в налаживании коммуникации между сотрудником магазина и покупателями. Мы проводили этот пилот совместно с VocaTech и одним крупным ритейлером электроники: выбрали 15 магазинов, раздали 355 сотрудникам аудиобейджи, а затем проанализировали результаты и новые уровни продаж.

За 6 месяцев пилота в 15 магазинах у 355 сотрудников мы получили 66 243 часов аудиозаписей, которые были переведены системой VocaTech в 321 353 эпизода обслуживания (транскрипции речи сотрудника во время консультаций). Параметры анализа речи — 70 метрик, включающие более 1000 уникальных фраз и их вариаций (метрика здесь — стандарт речи, например, стандарт речи «Приветствие» фиксируется фразами «Доброе утро», «Добрый день» или «Добрый вечер»).

Спойлер: при всех ключевых словах и улучшенных скриптах для продавцов личная харизма конкретного специалиста всё ещё продолжает играть значительную роль.

Если ты тоже, как и я, любишь возиться с аудио файликами, слушать, записывать, конвертировать и т.д., то эта статья для тебя. Здесь я расскажу, как можно легко выполнять различные действия с аудио из командной строки, причём делать это одинаково удобно и эффективно и на Линуксах, и на Винде. Для этого мы будем использовать программу fmedia. Она кросс-платформенная и портативная, быстрая и не требует ничего лишнего - в общем, в самый раз для тех людей, кто одержим идеей разумной минималистичности и экономии ресурсов.

В чём в принципе бонус интерфейса командной строки перед графическим?

* Во-первых, все процессы легко автоматизируются. Мы можем создать скриптик, который одним махом сконвертирует все аудио файлы в директории, или выведет список всех мета тэгов, или выполнит любую другую задачу с большим количеством файлов.

* Во-вторых, любую команду можно исполнять на удалённой машине, подключённой по SSH, например.

* К тому же, такие программы, как правило, гораздо менее требовательны к ресурсам компьютера, а это очень важно когда у нас есть только лишь старенький ноутбук. Или когда мы слушаем музыку на ноуте, работающем на батарее, и требуется продлить его время работы. Например, я на своём ноуте с Федорой могу хоть целый день слушать музыку на батарее через fmedia - реально надолго хватает заряда, главное - погасить экран.

* Нет никаких ограничений на максимальное количество файлов в активном плейлисте. Можно играть плэйлист с тысячей трэков, можно с миллионом - на скорость работы это никак не влияет.