В рамках проекта «Лаборатория цифровой философии» специалисты из СПбГУ занимаются разработками в сфере сонификации данных. Сонификация данных — относительно новая дисциплина, которая занимается преобразованием различных текстовых данных в звук.
Такие преобразования позволяют, например, людям с различными проблемами зрения услышать, как звучат научные достижения, открытия и даже исторические события. Кроме того, преобразование данных в звук упрощает анализ научных данных.
Небольшая история про наш опыт дистилляции моделей для распознавания речи. Как у нас получилось уменьшить модель в 160 раз и не проиграть по качеству.
Продолжение первой статьи, в котором я хочу рассказать о звукозаписи с гарнитуры при помощи полевого рекордера Zoom F3.
В череде дней «длинных» майских праздников решил развернуть голосовой помощник на сервере домашней автоматизации Home Assistant. Мой домашний сервер работает под управлением ОС Ubuntu Server 23.10 и не имеет никаких предустановленных источников или приемников аудио и видео информации. В Ubuntu были установлены аудиосервер PipeWire и менеджер сеансов WirePlumber. Такой выбор был продиктован тем, что эти приложения являются стандартным ПО по обработке аудио и видео потоков в Linux. В сети мне не удалось обнаружить какого-либо полного описания процесса настройки, и эта статья, в некоторой степени, восполняет этот пробел.
Добрый день, уважаемые хабровчане!
Этот пост немного нестандартный для меня, потому что в нем я не буду рассказывать вам про код, а вместо этого расскажу вам про дебютный киберпанк‑альбом «Новый Век или Парадокс Моравека» от нашего небольшого творческого коллектива «Тандем Модемов».
Я думаю, ни для кого не секрет, что последнее время технология генеративного ИИ развивается ошеломительными темпами. Совсем недавно стали публично доступны такие сервисы как Udio которые позволяют по заданному тексту и промпту сгенерировать вполне достойное музыкальное произведение.
Так как мы с друзьями периодически пишем стихи на волнующие нас темы, было бы странно не воспользоваться таким шансом и не превратить их в песни.
А так как помимо Udio есть еще Midjourney и Dall‑e для генерации графики, а также бесплатный (пока) Haiper для анимации, мы решили собрать полноценный альбом, состоящих из четырех музыкальных видео.
Надеюсь, в эти нелегкие времена наши песни передадут вам частичку нашего оптимизма и уверенности в светлом будущем всего человечества.
Будучи поклонником suckless философии, минимализма и простоты в программном обеспечении, я не нахожу простых и маленьких VoIP решений. Программ связанных с VoIP очень много. Но это либо колоссальные системы для построения SIP-based экосистемы, либо что-то из мира WebRTC. Особняком выделяю Mumble -- популярное решение среди геймеров: централизованный сервер, указываешь его адрес и вот уже слышишь в наушниках другого человека. А нет ли чего ещё попроще?
Всем привет! Меня зовут Дмитрий Булгаков, я Android-разработчик в HiFi-стриминге Звук, и я расскажу, как можно создать аудиоплеер в приложении. Поговорим об инструментах разработки и устройстве плеера — разберем его «анатомию», компоненты и их применение, а также способы улучшения звука с помощью эквалайзера.
Для вашего удобства гайд разделён на несколько основных частей. В первой расскажу об актуальных инструментах разработки плеера и о том, что у него «под капотом».
Поехали!
Аудио кодек по сути это цифро-аналоговое устройство, где есть пара ADC + DAC. На входе обычно есть сумматор на операционных усилителях для подмешивания аналогово сигнала с разных проводов, есть еще аналоговые усилители. Высокоскоростной многоканальный интерфейс: I2S или TDM. И интерфейс I2C для того чтобы всем этим добром управлять.
В этой заметке я написал о своём опыте работы с ASIC аудиокодеком NAU8814.
Друзья, всем привет! Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист. С самого детства я мечтал научиться играть на каком-нибудь музыкальном инструменте. Я делал много попыток: были две гитары (акустическая и электро), клавиши и даже электронные барабаны. Но мне всегда не хватало усидчивости, и я не чувствовал удовлетворения от освоения инструмента, поэтому забрасывал его. Пробовал также освоить Ableton и FL Studio, но они казались мне слишком сложными. В итоге, к 35 годам я научился играть только на варгане, хотя душа требовала большего — я очень люблю музыку и слушаю ее буквально 24/7.
Нейросети уже дали мне возможность создавать прекрасные изображения, и я думал, как было бы здорово, если бы можно было так же легко создавать музыку. И действительно, около 10 месяцев назад появились такие инструменты, как MusicGen и AudioCraft от Meta*.
Научпоп от дата-сайентиста Factory5 Кирилла Абросимова: рассказываем о том, как развиваются нейронные сети для синтеза звука, и какие ИИ-технологии применяются в этой сфере сегодня.
Привет, Хабр! Меня зовут Данил Картушов. 👋
В этом посте я расскажу, как музыкальная платформа Deezer, используя метаданные, с первых секунд научилась рекомендовать персонализированные треки новым пользователям!
В этой статье я хочу поделиться со своим видением формата объёмного звука, за которым по моему мнению будущее.
Мы выложили в публичный доступ гигантский датасет для детекции речи (voice activity detection).
Датасет содержит порядка 150 тысяч часов аудио более чем на 6,000 языках. Количество уникальных ISO-кодов данного датасета не совпадает с фактическим количеством языков, так как близкие языки могут кодироваться одним и тем же кодом.
Данные были размечены для задачи детекции голоса при временной дискретизации примерно в 30 миллисекунд (или 512 семплов при частоте дискретизации 16 килогерц).
Данный датасет распространяется под лицензией CC BY-NC-SA 4.0.
Кажется, что рекомендательный движок музыкального сервиса - это черный ящик. Берет кучу данных на входе, выплевывает идеальную подборку лично для вас на выходе. В целом это и правда так, но что конкретно делают алгоритмы в недрах музыкальных рекомендаций? Разберем основные подходы и техники, иллюстрируя их конкретными примерами.
Начнем с того, что современные музыкальные сервисы не просто так называются стриминговыми. Одна из их ключевых способностей - это выдавать бесконечный поток (stream) треков. А значит, список рекомендаций должен пополняться новыми композициями и никогда не заканчиваться. Нет, безусловно, собственноручно найти свои любимые песни и слушать их тоже никто не запрещает. Но задача стримингов именно в том, чтобы помочь юзеру не потеряться среди миллионов треков. Ведь прослушать такое количество композиций самостоятельно просто физически нереально!
Так как они это делают?
