基于钢琴卷和 CQT 表示的 MIDI 到音频对齐微调
声音
2025-06-30 v1 计算与语言
多媒体
音频与语音处理
摘要
本文提出了一种神经网络方法，用于同步人类钢琴演奏录音与其对应的松散对齐 MIDI 文件。该任务采用卷积循环神经网络（CRNN）架构，通过处理未对齐的钢琴卷和语谱图作为输入，来估计对齐后的钢琴卷。为训练网络，我们创建了一个包含增强 MIDI 文件的数据集，这些文件模拟了常见的人类时序错误。我们的方法在各种容忍窗口上比行业标准的动态时间变形（Dynamic Time Warping, DTW）方法实现了最高可达 20% 的对齐精度提升。此外，将 DTW 与 CRNN 集成可进一步提升鲁棒性和一致性。这些发现表明，神经网络在推动 MIDI 到音频对齐的前沿技术方面具有巨大的潜力。
引用
@article{arxiv.2506.22237,
title = {Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations},
author = {Sebastian Murgul and Moritz Reiser and Michael Heizmann and Christoph Seibert},
journal= {arXiv preprint arXiv:2506.22237},
year = {2025}
}
备注
9 pages, 3 figures, 6 tables