오디오 MIDI 변환: 브라우저에서 채보하기

MP3, WAV, M4A, OGG 가운데 하나를 10분 이내로 고릅니다. 페이지가 디코딩한 뒤 모노로 합치고 채보 모델이 요구하는 22,050 Hz로 리샘플링한 다음, 30초 단위 블록으로 나눠 차례로 추론합니다. 블록마다 앞뒤로 2초씩 겹치는 구간을 남깁니다.

이 2초는 생각보다 중요합니다. 음이 어디서 시작하고 끝나는지 판단하려면 앞뒤 몇 프레임의 맥락이 필요한데, 겹치는 구간이 없으면 블록 경계를 지나가는 긴 음이 짧은 조각 두 개로 쪼개집니다. 겹친 구간은 추론 후 버리고 깔끔한 음 하나만 남깁니다.

진행률은 블록 단위로 보고되므로 긴 파일에서도 멈춘 스피너가 아니라 움직이는 퍼센트가 보입니다. 세션에서 처음 한 번은 모델 가중치도 내려받는데 이 단계가 가장 오래 걸립니다. 두 번째 파일부터는 바로 변환이 시작됩니다.

모델은 음높이가 분명하고 지속되는 소리를 따라가도록 학습됐기 때문에, 하나의 또렷한 악기에서 가장 강합니다. 피아노 독주, 부르거나 허밍한 멜로디, 어쿠스틱 기타 단음 라인, 베이스 파트, 목관이나 현악 멜로디가 그렇습니다. 이런 소재에서는 시작 지점과 음높이, 길이가 다시 만들 필요 없이 손만 보면 되는 정확도로 나옵니다.

결과가 나빠지는 경우는 세 가지입니다. 편곡이 빽빽한 밴드 믹스는 음높이를 가진 악기를 여러 개 동시에 주는 셈이어서, 분리하지 않고 한 트랙에 섞어 내보냅니다. 단일 파트가 필요하면 스템 분리를 먼저 거치세요. 타악기에는 따라갈 안정된 음높이가 없어 드럼은 쓸 만한 리듬이 아니라 흩어진 저음으로 돌아옵니다. 강한 디스토션과 두꺼운 리버브는 어택을 흐려서, 실제 음 주변에 짧은 음이 늘어나는 형태로 나타납니다.

모델이 감지한 피치 벤드는 벤드 이벤트로 MIDI에 남으므로 슬라이드와 비브라토가 평탄해지지 않습니다. 기타와 보컬 라인에서는 쓸모가 있고, 확정된 음높이만 필요한 사보 프로그램에서는 지워 버리면 됩니다.

내려받는 것은 표준 MIDI 파일이라 MIDI를 읽는 것이면 무엇이든 열립니다. DAW, 사보 프로그램, 하드웨어 시퀀서, 휴대전화 스케치 앱 모두 해당합니다. 파일에 기록되는 템포는 음 시작 간격에서 추정해 흔히 쓰는 60~190 범위로 접은 값입니다. 편집기에서 마디선이 어디 놓이는지만 정하고 음 자체는 움직이지 않으니 고쳐도 부작용이 없습니다.

결과는 그대로 쓰기보다 정리할 것을 전제로 보세요. 손볼 가치가 큰 곳은 두 군데입니다. 큰 어택 주변에 몰려 있는 짧은 음을 지우는 것, 그리고 울림이 많은 구간에서 모델이 일찍 끊어 버린 음을 늘려 주는 것입니다. 일반적인 멜로디라면 둘 다 몇 분이면 끝납니다.

최근 변환은 이 페이지에 남으니 같은 오디오를 두 번 변환하지 않고 MIDI를 다시 내려받을 수 있습니다.