как узнать какие инструменты играют в песне
Data Mining в музыке. Определяем музыкальный инструмент при помощи Деревьев Классификации
Приветствую Вас, уважаемые читатели и писатели Хабра!
Так сложилось, что я меломан и программист – и мне однажды захотелось совместить это.
Попробую рассказать, что из этого вышло.
В данной статье будет описано, как я пытался создать алгоритм, который бы мог определять на каком инструменте сыграна мелодия.
Итак, поехали
Что хотим в итоге?
В итоге хочется получить какие-то значения признаков, которые бы помогли проклассифицировать музыкальные сигналы и легли в основу алгоритма классификации.
Как будем делать
Подготовка входных данных
На этом этапе мы различными методами (анализ Фурье и прочие) мы получим значения для наших 9 характеристик.
Кластерный анализ
Воспользуемся методом Иерархический классификации. Результат кластеризации данным методом представлен на рисунке ниже(кластеры выделены красными кружками).
В данном случае мы можем наблюдать 10 кластеров, о которых нам априорно известно, таким образом, мы все же имеем возможность классификации по имеющемуся набору входных данных.
Снижение размерности входных данных
Имеющийся в нашем распоряжении набор входных данных имеет довольно большую размерность, а следовательно с ним не совсем удобно работать. Осуществим попытку снизить размерность входных данных, то есть решить задачу редукции данных.
Для этого мы воспользуемся сначала Факторным анализом, как более грубым инструментом, а потом к результатам Факторного анализа применим метод Многомерного шкалирования.
Проведем факторный анализ. Так как мы не знаем заведомо, сколько факторов будет выделено, то проведем для 9 факторов. Собственные значения представлены в таблице ниже:
Собственные значения Выделение: Главные компоненты
Соб. зн. % общей дисперсии Кумулятивн. собств знач Кумулятивн. %
1 3,640494 40,44993 3,640494 40,4499
2 1,875795 20,84217 5,516289 61,2921
3 1,028626 11,42918 6,544915 72,7213
4 0,869353 9,65948 7,414268 82,3808
5 0,636831 7,07590 8,051100 89,4567
6 0,410692 4,56325 8,461792 94,0199
7 0,261768 2,90854 8,723560 96,9284
8 0,204545 2,27272 8,928105 99,2012
9 0,071895 0,79883 9,000000 100,0000
Как мы видим из этой таблицы, суммарная доля объясненной дисперсии не превышает 80%, отсюда мы можем сделать вывод о нелинейной зависимости данных, то есть данные аппроксимируются нелинейной моделью. О числе факторов можно судить по графику каменистой осыпи:
По графику каменистой осыпи, мы видим, что можно выделить 3 фактора.
Проведение анализа по методу многомерного шкалирования не дало улучшение ситуации с редукцией данных. О том, что проведение многомерного шкалирования не дало результатов, свидетельствует диаграмма Шепарда, которая для удачного анализа должна представлять из себя прямую.
Анализ методом Деревьев Классификации
Ввиду того, что мы априорно знаем, о существовании 10 кластеров в исходных данных, а также что мы имеем некоторое доказательство их существования (то есть имеется возможность классификации по имеющемуся набору характеристик): результат кластеризации по методу Иерархической классификации, а также полученные выводы при предварительном исследовании входных данных,– решено применить весьма «тонкий» инструмент – Деревья Классификации. Решено так же применить одномерное ветвление по методу CART, как наиболее точному методу для задач классификации.
Алгоритм построил следующее дерево классификации:
Произведем описание полученных результатов. Как мы можем видеть, дерево классификации построено корректно: мы не имеем повторений в терминальных вершинах, таким образом, произошло четкое разбиение на классы на основе значений характеристик аудио- сигнала, представленного во входных данных.
Нейросеть распознает нужный музыкальный инструмент на видео и сделает его погромче
The Beatles в студии, 1966 год
Разработчики из MIT создали нейросеть, которая самостоятельно находит музыкальный инструмент на видео и определяет, как он звучит. Если на записи присутствует несколько инструментов, программа позволяет пользователю выбрать, какой именно он хочет послушать, просто кликнув на него. При этом для обучения программы не требуется размеченных данных, сообщается в работе, которая будет представлена на сентябрьской конференции по компьютерному зрению European Conference on Computer Vision (ECCV).
Очень часто для того, чтобы нейросеть научилась распознавать объекты на изображении или отдельные источники в звуковой дорожке, требуется большой набор размеченных данных. Однако проставлять метки приходится вручную, что занимает довольно много времени. Поэтому исследователи в последнее время все чаще используют альтернативные подходы к обучению программ, которые позволяют алгоритму самостоятельно получать необходимые знания.
Авторы новой работы под руководством Хан Чжао (Hang Zhao) создали нейросеть под названием PixelPlayer. Она состоит из трех компонентов — графического, аудио и синтезирующего. Первая нейросеть анализирует графические элементы видео, в то время как вторая анализирует спектрограмму аудиодорожки. Затем синтезатор сопоставляет определенные области на кадрах (фактически, наборы пикселей) с определенными звуками, чтобы определить, как звучит тот или иной инструмент.
Схема архитектуры системы. Одна сеть обрабатывает графические данные, другая аудио, а третья сопоставляет их
Hang Zhao et al / ArXiv, 2018
На демонстрационном видео показано, что пользователю достаточно кликнуть в область кадра, где запечатлен инструмент, и программа сделает его звук громче. Кроме того, PixelPlayer позволяет регулировать громкость инструментов с помощью бегунка и, таким образом, редактировать аудиотрек.
В будущем группа Чжао надеется улучшить качество звука, использовав больше обучающего материала. В будущем PixelPlayer может стать удобным инструментом для редактирования аудио, позволяя например улучшать или восстанавливать старые записи концертов. Кроме того, алгоритм может лечь в основу системы, которая позволит роботам различать источники окружающих звуков.
В прошлом исследователи из лаборатории Facebook Research разработали метод превращения музыкальных записей в записи с другими инструментами, стилем и жанром. Она смогла переделать симфонию Моцарта в запись пианиста, играющего музыку Бетховена.
ТОП-10 Приложений для онлайн распознавания музыки по звуку
Музыкальный эквалайзер. Заставка
Любой пользователь сети Интернет может отыскать понравившийся трек, любимую песню или просто красивую мелодию лишь восстановив ее звук и дав «прослушать» его специальному приложению.
Буквально через несколько секунд сканирования нашему вниманию представлены результаты поиска.
Конечно, если приложение справляется с поставленной задачей, что бывает не всегда.
Не раз бывало с каждым, что понравилась какая-то песня или мелодия, но вы не знаете, как она называется.
Для таких целей было создано распознавание по звуку – скачиваете приложение на свой телефон или открываете в режиме онлайн соответствующее приложение, включаете «Распознавание» и секунд через 5 программка выдает вам найденный вариант.
Но даже если приложение ничего и не нашло, это совершенно не означает, что оно плохое или не работает.
Возможно, вы просто поднесли телефон недостаточно близко, чтобы программа могла распознать или же вокруг было слишком шумно, что замедляет работу распознавателя.
Midomi
Это очень серьезная программа, которая отыщет необходимую мелодию, даже если кусочек из нее вы будете петь самостоятельно.
Для этого не нужно обладать вокальными данными. Сам поиск идет по таким же записям других пользователей системой.
Тут важно учесть, что часть проигрывающейся мелодии должна быть различаема, иначе приложение попросту выдаст в результате «Ничего не найдено» и предложит повторить еще раз.
AudioTag
Начало работы с приложением AudioTag
Данное приложение более требовательно: напевать не надо, необходимо загрузить файл. Но не смотря на такие сложности, определить песню онлайн для него не составляет никакого труда.
Как пользоваться:
Кстати, если песня популярна, то будут указаны проценты сходства с вашим файлом.
Но не стоит забывать о том, что отрезок проигрывающейся мелодии должен быть понятен, не смазан, чтобы приложение наверняка нашло необходимый трек.
Shazam
Работа с приложением Шазам
Работает на всех платформах. Определяет достаточно точно, хотя иногда прямо говорит: ничего я не понял, несите меня ближе к источнику звука, еще раз попробую.
Пользование данным приложением настолько популярно, что выражение «шазамнуть» уже стоит наряду с «погуглить».
Иногда приложение может не найти необходимой песни, но вы всегда можете попробовать еще раз.
Часть проигрываемого трека должна быть чёткой, по-другому приложение просто не будет искать нужную песню.
SoundHound
Меню приложения SoundHound
Аналог предыдущего приложения Shazam, но иногда он даже обгоняет конкурента по качеству распознавания.
Как пользоваться:
Так же, как и в предыдущем приложении, она может сразу не найти музыку, но не стоит расстраиваться, просто попробуйте снова.
Magic MP3 Tagger
Скрин процесса работы в приложении Magic MP3 Tagger
Эта программа довольно серьёзна — она не просто находит название и имя исполнителя, а и позволяет автоматом разбирать нераспознанные файлы по разным папкам одновременно с проставлением правильных тегов для композиций.
У приложения 2 версии – бесплатная и платная. Естественно, в платной версии больше возможностей, но если вам необходимо просто найти название и имя исполнителя песни, вполне подойдет и бесплатная версия.
Как пользоваться:
Программа скорее не распознает музыку по звуку, а находит автора, название и сортирует файлы, что в принципе тоже не плохо.
Sound Search for Google Play
Иконка виджета Sound Search for Google Play и его главное меню
В Android 4 версии и выше присутствует встроенный виджет поиска песен.
По вашему желанию, его можно установить на рабочем столе. Он позволяет распознать песню онлайн, так что, без подключения к сети Интернет он реагировать не будет.
Вот так просто, даже не нужно ничего скачивать.
Tunatic
Скрин этапа работы в приложении Tunatic
Данное приложение достигло своих высот в 2005 году, сейчас же ему приходится уступать, так как появились приложения намного продвинутее.
Принципы подобных приложений одинаковы.
Audiggle
Начало работы с приложением Audiggle
Принцип работы простой:
MusicBrainz Picard
Скрин этапа работы в приложении Tunatic
Вот так просто можно узнать имя исполнителя и название трека.
Musipedia
Начало работы с приложением Audiggle
Необходимые действия:
Выводы
Существует множество программ для распознавания музыки по звуку. Их можно использовать как на смартфоне, так и на других девайсах.
Теперь не надо мучиться, вбивая в поисковик обрывки фраз, которые не всегда удается запомнить правильно, достаточно дать прослушать кусочек трека приложению, и оно само все сделает.
И в завершении хотелось бы на примере приложения Шазам показать, как на деле работают подобные приложения.
ВИДЕО: Видео обзор Shazam для Аndroid
Видео обзор Shazam для android
ТОП-10 Приложений для онлайн распознавания музыки по звуку
ВИДЕО: ЗАМЕНА SHAZAM / ТОП 5 ПРИЛОЖЕНИЙ ДЛЯ РАСПОЗНАВАНИЯ МУЗЫКИ / SoundHound VS BeatFind
ЗАМЕНА SHAZAM / ТОП 5 ПРИЛОЖЕНИЙ ДЛЯ РАСПОЗНАВАНИЯ МУЗЫКИ / SoundHound VS BeatFind
ТОП-10 Приложений для онлайн распознавания музыки по звуку
Наш Рейтинг
Для нас очень важна обратная связь с нашими читателями. Если Вы не согласны с данными оценками, оставьте свой рейтинг в комментариях с аргументацией Вашего выбора. Ваше мнение будет полезно другим пользователям.
6 лучших программ для транскрипции музыки
Всем привет. Здесь представлены 6 лучших программ для транскрипции музыки. Что такое транскрипция музыки и что она дает вам:
Пользователям необходимо программное обеспечение для успешного выполнения этой задачи. Автоматическая транскрипция музыки – это математический анализ аудиозаписи, которая обычно имеет формат MP3 или WAV, и преобразование в нотную запись, которая обычно идет в формате MIDI. Это сложный процесс, выполняемый ИИ.
Существует множество программ, которые автоматически расшифровывают музыку, и мы выбрали пять из лучших, чтобы представить их основные функции, а также помочь вам выбрать одну.
Какие программы лучше всего подходят для автоматической расшифровки музыки?
1. Transcribe (рекомендуем)
Программное обеспечение помогает пользователям расшифровывать записанную музыку. Это помощник для людей, которые хотят разработать музыкальное произведение из записи, чтобы сыграть его самостоятельно или написать.
Эта программа не выполняет транскрипцию для пользователя, но это специализированная программа проигрывателя, улучшенная для транскрипции.
Ознакомьтесь с его лучшими функциями ниже:
Программа воспроизводит и даже записывает аудиофайлы, но это не аудиоредактор.
2. NCH TwelveKeys
NCH TwelveKeys – это музыкальная программа, предназначенная для помощи музыкантам при расшифровке музыкальных записей. Инструмент работает со многими инструментами, играющими одновременно.
Вот некоторые из наиболее заметных особенностей этого замечательного инструмента:
Эта программа идеальна для музыкантов, пытающихся научиться играть отрывок из записанной музыки, не имея нотной записи, или для помощи в записи других композиций и импровизаций.
3. Akoff Music Composer
Akoff Music Composer – один из лучших инструментов для автоматической расшифровки музыки. Эта программа использует сложный процесс автоматической транскрипции музыки.
Akoff Music Composer обычно транскрибирует полифоническую музыку одним инструментом или голосом. Ознакомьтесь с основными функциями этого программного обеспечения:
4. ScoreCloud
Это программа для нотной записи как для начинающих, так и для более продвинутых пользователей. Программа утверждает, что это эквивалент Google Translate, но адаптированный для музыки. ScoreCloud может мгновенно превращать ваши песни в ноты, и все делается без особых усилий.
Ознакомьтесь с наиболее впечатляющими функциями, которые включены в это программное обеспечение ниже:
Программное обеспечение может автоматически сохранять ваши песни в Интернете, так что, когда вы редактируете свою партитуру, ваши изменения мгновенно синхронизируются со всеми вашими устройствами.
5. AnthemScore
Это программное обеспечение, которое автоматически создает ноты из аудиофайлов, включая WAV, MP3 и другие. Программа использует нейронную сеть, которая обучена на миллионах выборок данных, чтобы иметь возможность получить высокий уровень точности.
Ознакомьтесь с основными функциями AnthemScore:
Параметры настройки высоты тона будут сдвигать высоту звука для всех нот вверх или вниз на фиксированное количество октав и полутонов.
6. AudioScore Ultimate
AudioScore Ultimate – это полнофункциональная версия программного обеспечения, известного как AudioScore Lite, которое входит в состав Sibelius.
Используя это программное обеспечение, вы сможете превратить записанный звук, живые выступления с микрофона или MIDI в транскрибируемую нотацию.
Ознакомьтесь с наиболее интересными функциями, включенными в эту программу:
С AudioScore Ultimate вы сможете создавать музыкальные партитуры, играя или напевая на своем компьютере, используя только микрофон. Вам не обязательно обладать какими-либо музыкальными знаниями, чтобы получить максимум удовольствия от этой программы.
Это шесть лучших программ для автоматической транскрипции музыки.
Мы рекомендуем вам зайти на каждый из их официальных веб-сайтов, чтобы ознакомиться с полным набором функций, прежде чем решить, какой из них лучше всего подходит для ваших нужд.
Если у вас есть другие предложения или вопросы, не стесняйтесь оставлять их в разделе комментариев ниже.
Программы для преобразования песни в ноты
Здесь представлены пять лучших программ для автоматической расшифровки музыки и преобразования песни в ноты
Здесь представлены пять лучших программ для автоматической расшифровки музыки.
Эта программа не выполняет транскрипцию для пользователя, но это специализированная программа проигрывателя, улучшенная для транскрипции.
Ознакомьтесь с его лучшими функциями ниже:
Даже если программа воспроизводит и записывает аудиофайлы, это не значит, что это аудиоредактор.
Вот некоторые из наиболее заметных особенностей этого замечательного инструмента:
Чтобы создать MIDI-последовательность для мелодии, записанной в аудиоформате, музыкант должен определить скорость, высоту и длительность каждой проигрываемой ноты.
Пользователь должен записать эти параметры в последовательность MIDI-событий.
Akoff Music Composer обычно транскрибирует полифоническую музыку одним инструментом или голосом.
Ознакомьтесь с основными функциями этого программного обеспечения:
Программа использует нейронную сеть, которая обучена на миллионах выборок данных, чтобы иметь возможность получить высокий уровень точности и точности.
Ознакомьтесь с основными функциями AnthemScore:
Используя это программное обеспечение, вы сможете преобразовывать записанный звук, живые выступления с микрофона или MIDI в ноты.
Ознакомьтесь с наиболее интересными функциями, которые включены в эту программу:
Вам не обязательно владеть какими-либо музыкальными знаниями, чтобы получить максимум удовольствия от этой программы.