オーディオをMIDIに変換：ブラウザ内で採譜

MP3、WAV、M4A、OGG のいずれかを十分以内で選びます。ページ側でデコードしてモノラルにまとめ、採譜モデルが要求する 22,050 Hz へリサンプリングしたうえで、三十秒ごとのブロックに分けて順に推論します。各ブロックの前後には二秒の重なりを残します。

この二秒は見た目以上に重要です。音符の始まりと終わりを決めるには前後数フレームの文脈が必要で、重なりがないとブロックの切れ目をまたぐ長い音が二つの短い断片に割れてしまいます。重なり部分は推論後に破棄し、最終的にきれいな音符列だけを残します。

進捗はブロック単位で報告されるので、長いファイルでも止まったスピナーではなく動くパーセンテージが見えます。セッション内の最初の一回はモデルの重みのダウンロードも入り、ここが最も時間を使います。二つ目以降のファイルはすぐ変換が始まります。

モデルは音高が定まった持続音を追うよう学習されているため、単一の明瞭な楽器に最も強く働きます。ピアノ独奏、歌やハミングのメロディ、アコースティックギターの単音、ベースのライン、木管や弦のメロディなどです。こうした素材では、発音位置も音高も長さも、作り直すのではなく手直しで済む精度に収まります。

結果が落ちる条件は三つあります。編成の厚いバンドのミックスは、音高を持つ楽器を同時に複数与えることになり、分けずに一つのトラックへ混ぜて書き出します。単一パートが欲しいときは先にステム分離を通してください。打楽器には追える安定した音高がないため、ドラムは使えるリズムではなく散らばった低音として返ります。強い歪みと厚いリバーブは発音の輪郭をぼかし、本来の音符の周りに短い音が増える形で現れます。

モデルが検出したピッチベンドはベンドイベントとして MIDI に残るので、スライドやビブラートは平坦化されません。ギターやボーカルのラインでは有用で、確定した音高だけが欲しい記譜ソフトでは削ってしまって構いません。

ダウンロードされるのは標準 MIDI ファイルなので、MIDI を読めるものなら何でも開けます。DAW、記譜ソフト、ハードウェアシーケンサー、スマートフォンのスケッチアプリなど。ファイルに書き込まれるテンポは音符の間隔から推定し、よく使う 60〜190 の範囲に折り返した値です。エディタ上で小節線がどこに来るかだけを決める値で、音符自体は動かないため、書き換えても副作用はありません。

結果はそのまま使うのではなく、整えることを前提にしてください。手を入れる価値が高いのは二箇所です。大きな発音の周りに集まる短い音を削ること、そして残響の多い箇所でモデルが早く切ってしまった音を伸ばすこと。一般的なメロディならどちらも数分の作業です。

直近の変換はこのページに残るので、同じ音声を二度変換せずに MIDI を再ダウンロードできます。