Звук

Бывает такое: смотришь кино, слышишь OST или просто какую-то хорошую песню, которую решили вставить в фильм, и думаешь — а неплохо бы её добавить к себе в плейлист. Способов сделать это было несколько. Можно было пойти и поискать или сам OST к фильму, или неофициальные саундтреки к нему. Можно было посмотреть, что по названию фильма выдаётся в поиске через музыкальные стриминговые сервисы, вдруг какая-то площадка уже позаботилась о вас и собрала тематический плейлист. Отдельные граждане прямо во время фильма включали на смартфоне Shazam и распознавали трек. В общем, кто во что горазд.

Мы решили сделать для Кинопоиска функцию, которая будет (если вам это нужно) прямо во время фильма показывать, какой трек играет прямо сейчас.

Меня зовут Алексей Царёв, я занимаюсь развитием технологий в развлекательных сервисах Яндекс. И моя задача в том, чтобы из какой-то отдельно взятой технологии создавать рабочие продукты для конечного пользователя. Именно об этом, на примере распознавания музыки в фильмах, и будет этот пост.

В этой статье я хочу рассказать о новой, перспективной модели тактических наушников, выводящей позиционирование звука на новый уровень.

Это моя статья, а не переводная статья.

В этой статье Вы найдёте полное описание того, как сделать Wi-Fi интернет-радиоприёмник из роутера, который бы мог проигрывать mp3 потоки интернет-радиостанций. Также предусмотрена возможность переключения между двумя интернет-радиостанциями. Мы будем использовать прошивку OpenWRT установленную на роутер для создания Wi-Fi интернет-радиоприёмника. Можно обойтись без паяльника, а можно поместить все элементы внутрь роутера и сделать завершённое устройство — Wi-Fi интернет-радиоприёмник.

• Любой роутер с usb портом, на котрый можно установить OpenWRT — ОС Linux ориентированная на встраиваемые системы. Узнать можно ли на Ваш роутер установить OpenWRT можно на странице https://openwrt.org/toh/start.
• USB Звуковая карта стоимостью $1-$2.
• Любые пассивные (или активные) звуковые колонки.
• Два патч-корда — витая пара обжатая разъёмами 8P8C (в народе RJ-45).
• Персональный компьютер.
• Выход в сеть Интернет по технологии Ethernet и Wi-Fi (опционально).

Музыка — это универсальный язык, для которого нет границ. Стремительный прогресс больших языковых моделей (Large Language Model, LLM) привёл к тому, что нейроучёные продемонстрировали острый интерес к исследованию представления музыки в человеческом мозгу.

Команда учёных из Google, Осакского университета, NICT и Araya Inc., движимая этим интересом, провела исследование, результаты которого изложены в публикации «Brain2Music: Reconstructing Music from Human Brain Activity». В исследовании используется конвейер обработки данных, названный Brain2Music, в состав которого входит модель MusicLM, реконструирующая музыку, которую слышит человек, на основе его мозговой активности. Система генерирует композиции, которые напоминают исходные музыкальные раздражители. Этот новый метод даёт ценные сведения о взаимоотношениях мозговой активности с когнитивным и чувственным опытом людей.

Учёные сделали следующие основные выводы:

Про мой сетап Hi-Fi звука

Тут большая, длинная история про то, как я себе собирал сетап с hi-fi звуком.

Это просто описание личного опыта, который, может быть, кому-то будет полезен. Не претендую на какое-то технарское новшество.

В посте реально много задротства, и разбираться в нём стоит только если вы хотите себе что-то подобное.

Если нет, просто почитайте о том, как страдают эти ваши аудиофилы.

Всё началось с того, что снял квартиру с хорошим звуком - лендлорд оставил мне свой усилок, напольные колонки и CD проигрыватель.

Проигрыватель был сразу убран, потому что ну какие диски, камон.

Но вот на базе усилка и колонок хотелось собрать что-то такое, на чём я смогу слушать Hi-Fi звук, и желательно диджитально, то есть управляя через приложение стриминговой музыкой.

Сам по себе усилок довольно старый, в нём нет никакх мозгов, которые могли бы ходить в сервисы Hi-Fi стриминга (я использую Tidal).

Но, раз нет в нём, значит нужно подключить к нему что-то такое, что могло бы ходить, брать бы оттуда звук, и передавать на усилок. И, повторюсь, этим хочется управлять через приложение с любого устройства.

А ещё, у Tidal есть свой контейнер для Hi-Fi музыки, который называется MQA - это такой FLAC на стероидах, к которыму прицеплены дополнительные метаданные, которые позволяют файлам "ЛУЧШЕ ЗВУЧАТЬ"))

А это значит, что мой девайс должен мочь прожевывать MQA.

Сначала мой выбор пал на технологию Tidal Connect. Это как раз протокол, по которому тот самый Tidal может трансилровать свою музыку на конечные устройства (обычно это ЦАПы).

Голосовые ассистенты активируются «по имени» — это всем привычно. Но как быть, если нужно несколько раз повторять команду из одного слова? Например, чтобы настроить музыку, говорить каждый раз «Алиса, громче» и «Алиса, дальше» утомляет. Кроме того, в некоторых сценариях важна скорость выполнения действия: например, когда нужно включить свет в комнате. 

Для таких случаев мы научили Алису распознавать быстрые команды — то есть те, для которых её не нужно звать по имени. Достаточно просто сказать «громче», «дальше» или «включи свет». И в этой статье я расскажу, что из себя представляет новая функция, как мы её разрабатывали, с какими сложностями столкнулись. А ещё немного поговорим про распознавание и свёрточные модели.

Наверное, самый реалистичный объемный звук, который можно услышать в наушниках. О бинауральном звуке и многое другое в статье.

Статья рассматривает историю распространения музыки, переход на легальные цифровые сервисы и трансформационное влияние стриминга на музыкальную индустрию. Мы расскажем, как платформы вроде Spotify, Apple Music и YouTube изменили способ потребления и открытия музыки людьми. Рассмотрим и проблемы, с которыми сталкиваются артисты, музыкальные лейблы и профессионалы отрасли при адаптации музыки в эпоху стриминга.

Привет, хабровчане! Меня зовут Дмитрий, я студент первого курса Вышки магистерской программы «Системный анализ и математические технологии».

В октябре прошлого года я прошёл отбор в Инженерно-математическую школу (ИМШ). Это совместная образовательная программа VK Education и НИУ ВШЭ. Я стал участником мастерской по прикладному искусственному интеллекту. В одном из проектов мы командой из двух человек (да, нас было мало, но мы были сильны!) решили реальную технологическую задачу под руководством эксперта VK и научных сотрудников университета. Нам нужно было придумать технологию разделения аудиосигнала на источники. В команде я отвечал за подготовку данных, а мой коллега — за проведение экспериментов. Хочу рассказать вам подробно, как мы решали эту задачу – надеюсь, что это будет для вас полезно.

В Софт, хард и два колеса: как мы строили IT-инфраструктуру в Whoosh упоминалось, что первые версии IoT мы ставили под непрозрачную крышку, замещая стандартный модуль управления от самоката Xiaomi M365. То есть, после установки и проклеивания крышки, связь с модулем была только через облако. В идеальном мире этого было бы достаточно, но реальность диктовала условия, в которых нужна была индикация процессов — как в режиме обслуживания, так и в городе, у пользователей. Прием управляющих команд, отправка телеметрии, подключение к сети и выход устройств в онлайн — разные этапы нужно было различать сервисной команде для быстрой диагностики, а пользователя — предупреждать об изменениях в базовых сценариях использования — командах, ошибках, ограничениях и т.д.

Нужны звуки — решили ставить buzzer (или зуммер). Это такая электромеханическая штуковина, которая под воздействием внешнего переменного напряжения умеет деформироваться и издавать звуки.

Под катом рассмотрим базовые принципы работы излучателей, стандартные техники дизайна управляющей электроники, а в продолжении расскажем, как мы выжали из зуммера максимум возможностей

Battle Realms — это игра моего детства. Этот проект вышел в 2001 году за полгода до Warcraft 3. То было время расцвета RTS. Сеттинг игры можно условно отнести к Сэнгоку дзидай, эпоха воюющих провинций в Японии XVI века.

В игре представлены 4 клана: Дракон, Змей, Лотос и Волк. У каждой фракции своя философия и происхождение. Подробнее о лоре игры можете почитать здесь.

Музыка в Battle Realms умело раскрывают суть каждого клана. Мы поговорим о теме Дракона — Better days. Музыка Дракона олицетворяет светлое начало. Главные качества воинов Дракона — это благородство и следование традициям. В названии Better Days (Дни получше), заложен смысл мечтаний о светлом будущем под покровом Дракона.

Мы с моей командой Music we Deserve с нуля воссоздали этот трек. Расскажу как мы это сделали.

Пару недель назад Meta* представила ИИ-модель Voicebox, которая генерирует и редактирует устную речь. Они говорят, что это очередная революция в сфере генеративных ИИ. Модель не только создает речь в точном стиле и голосе любого человека по короткому образцу, но также умеет автоматически удалять шум, поправлять оговорки, понимать контекст. Авторы проекта охарактеризовали Voicebox как «прорыв в моделях речевого ИИ» и «самый универсальный ИИ для генерации речи».

В нашем распоряжении оказался документ с подробностями о реализации этого проекта. Спешим ознакомить с ним вас.

Конструируем музыкальный плеер PSG-файлов на чипе AY-3-8910 с OLED-экраном, кнопками управления и дополнительной памятью, а также подключаем выходные и входные сдвиговые регистры и прочие устройства с интерфейсами I²C и SPI к Arduino.