Аудио в MIDI: распознавание в браузере

Выберите файл MP3, WAV, M4A или OGG длительностью до десяти минут. Страница декодирует его, сводит в моно и пересчитывает к 22 050 Гц — частоте, которую ожидает модель, — а затем проходит запись блоками по тридцать секунд, оставляя по две секунды перекрытия с каждой стороны блока.

Это перекрытие значит больше, чем кажется. Чтобы определить, где нота начинается и заканчивается, нужен контекст в несколько кадров по обе стороны, иначе нота, попавшая на стык блоков, распалась бы на два коротких обрывка. Перекрытые участки распознаются и отбрасываются, оставляя один чистый набор нот.

Прогресс сообщается по блокам, поэтому на длинном файле вы видите движущийся процент, а не замерший индикатор. Первый запуск в сеансе дополнительно скачивает веса модели — это самая медленная часть; следующие файлы начинают распознаваться сразу.

Модель училась следить за звуком с определённой высотой и длительностью, поэтому сильнее всего работает на одном ясно слышимом инструменте: фортепиано соло, спетая или промурлыканная мелодия, линия акустической гитары, партия баса, мелодия у деревянных духовых или струнных. На таком материале начала нот, высоты и длительности обычно достаточно точны, чтобы их правили, а не переделывали.

Результат ухудшают три вещи. Плотный ансамблевый микс подаёт модели несколько высотных инструментов сразу, и она сведёт их в одну дорожку вместо разделения — если нужна одна партия, сначала пропустите запись через разделение на стемы. У перкуссии нет устойчивой высоты, которую можно отследить, поэтому барабаны возвращаются россыпью низких нот, а не пригодным грувом. Сильная перегрузка и густой реверб размывают атаки, и это проявляется как лишние короткие ноты вокруг настоящих.

Обнаруженные подтяжки сохраняются в MIDI как события pitch bend, так что слайды и вибрато не выпрямляются. Для гитарных и вокальных линий это полезно, а в нотном редакторе, где нужны только дискретные высоты, их можно удалить.

Скачивается стандартный MIDI-файл, поэтому его откроет всё, что читает MIDI: DAW, нотный редактор, аппаратный секвенсор, приложение для набросков на телефоне. Темп, записанный в файл, оценивается по расстоянию между началами нот и сворачивается в привычный диапазон 60–190. Он лишь определяет, где встанут тактовые черты в редакторе, и сами ноты не двигает, так что исправлять его безопасно.

Рассчитывайте результат подчистить, а не использовать как есть. Две правки дают больше всего: удалить короткие ноты, сбивающиеся вокруг громких атак, и продлить ноты, которые модель оборвала рано в гулких местах. На обычной мелодии и то и другое — несколько минут работы.

Недавние распознавания остаются в списке на этой странице, поэтому MIDI можно скачать снова, не обрабатывая ту же запись второй раз.