音频转 MIDI:在浏览器里本地转录

音频转 MIDI 无需上传文件,转录模型直接在你的浏览器里运行,把旋律或钢琴声部识别成可编辑的 MIDI 文件下载,不扣积分也不留服务器副本。

选一个音频文件,拿到模型听出来的音符 MIDI。整个转录在这个页面里完成,音频不会发往服务器,所以没有上传等待,事后也没有文件需要删除。

支持 MP3、WAV、M4A、OGG · 10 分钟以内 · 文件不离开你的设备

最近的转录

还没有记录。转录结果保存在这个浏览器里。

01

音频转 MIDI 的处理流程

01

选择 MP3、WAV、M4A 或 OGG 文件,时长十分钟以内。页面解码后混成单声道并重采样到 22050 Hz——这是转录模型要求的采样率——然后按三十秒一块逐段推理,每块前后各留两秒重叠。

02

这两秒重叠比听起来重要。判断一个音符从哪里开始、到哪里结束,需要前后若干帧的上下文;如果不留重叠,恰好跨过切口的长音就会被切成两个短碎音。重叠区推理完即丢弃,最终只保留一套干净的音符。

03

进度按块上报,所以长文件看到的是一个在走的百分比,而不是一个卡住的转圈图标。每个会话的第一次转录还要下载模型权重,这是最慢的一步;之后再转别的文件就能立刻开始。

02

文件不离开你的设备

01

多数音频转 MIDI 工具是把你的文件上传、在服务器上跑模型、再把结果传回来。这个页面的做法相反:把模型加载到你的浏览器里,在你自己的机器上算,设备支持时用 WebGL,不支持就退到 CPU。

02

这带来几个实际差别。没有上传步骤,所以一个五十兆的 WAV 和一个三兆的 MP3 开始转录的速度一样快。未发布的 demo 和客户的素材不会碰到任何第三方的基础设施。也因为远端没有存任何东西,不存在需要去读的保留期限,也没有文件需要申请删除。

03

代价是转录速度取决于你的设备。较新的笔记本处理三分钟的曲子远不到一分钟;同一个文件在老手机上会明显更慢。转录历史保存在这个浏览器的本地存储里,所以不会跟到另一台设备,清除站点数据后也会消失。

03

哪些素材转得准,哪些不行

01

模型训练的目标是跟随有音高、有持续时间的声音,所以它在单一清晰乐器上最强:独奏钢琴、唱出或哼出的旋律、吉他单音线条、贝斯声部、木管或弦乐旋律。这类素材的起音位置、音高和时长通常准到可以直接改,不必重做。

02

有三种情况会让结果变差。编配密集的全乐队混音同时给模型好几个有音高的乐器,它会把它们混进同一条轨道而不是分开——想要单一声部,请先用音轨分离。打击乐没有稳定音高可供跟踪,鼓会变成一堆散落的低音,而不是能用的节奏型。重失真和厚混响会模糊起音,表现为真实音符周围多出一些短碎音。

03

模型检测到的滑音会作为弯音事件保留进 MIDI,不会被压平成固定音高。这对吉他和人声线条有用;如果拿到记谱软件里只想要确定的音高,顺手删掉即可。

04

大家拿音频转 MIDI 做什么

01

制作人会从参考曲或者旧 demo 里把旋律抠出来,换个乐器重新配器、改调、或者把时值对齐到网格,而不用重新演奏一遍。学琴的人把正在练的一段转成 MIDI,用钢琴卷帘读回去,节奏关系会变得一眼可见,这是反复听做不到的。

02

编曲的人把 MIDI 当记谱的初稿:导进谱面软件、把时值清理一遍,就比纯耳朵听写快得多地得到一份简谱。跟歌手合作的人把哼出来的想法转成音符,好交给录音棚的乐手。

03

它也是回答一些很窄的问题最快的办法——那个贝斯音是什么音高、那一跳是几度——不必开调音器来回拖拽。

05

拿到 MIDI 之后

01

下载的是标准 MIDI 文件,任何能读 MIDI 的软件都能打开:编曲软件、记谱软件、硬件音序器、手机上的草稿应用。文件里写入的曲速是根据音符起点间距估出来的,并折到常用的 60 到 190 区间;它只决定你的编辑器里小节线落在哪,不会移动音符本身,所以改掉它没有副作用。

02

请预期结果需要整理,而不是拿来直接用。最值得花时间的两处修改是:删掉聚在响亮起音周围的短碎音,以及把混响段落里被模型提前截断的音符补长。一段常规旋律上,这两件事都是几分钟的活。

03

最近的转录会列在这个页面上,同一段音频不必转第二次就能重新下载 MIDI。

06

音频转 MIDI 常见问题

我的音频会被上传吗?

不会。模型在你的浏览器里运行,文件直接从你的设备读取,不会发往服务器——这也是为什么页面上没有上传进度条。

能把完整混音里的乐器分开吗?

不能。它把有音高的内容转录成一条轨道,会把几个乐器混在一起。请先用音轨分离,再单独转你想要的那一条。

鼓为什么转得很差?

打击乐没有可供模型跟踪的持续音高,所以返回的是一堆散落的低音而不是鼓点。节奏声部请用专门的鼓转录工具。

要消耗积分吗?

不消耗。计算发生在你的设备上而不是我们的服务器,所以转录免费,也不扣积分。

为什么第一次转录比较慢?

模型权重每个会话下载一次。同一会话里后续的文件会跳过这一步,直接开始转录。

转录历史存在哪里?

存在这个浏览器的本地存储里,不同步到账号,所以在另一台设备上看不到,清除站点数据后也会丢失。

可以不离开网站就编辑 MIDI 吗?

用任意 MIDI 编辑器打开下载的文件即可。钢琴卷帘类编辑器是删碎音、修时长最快的方式,整理完再导入工程。