基于统计推断的音乐谱面跟踪

音乐谱面跟踪是将实时演奏映射到对应乐谱位置的技术。谱面跟踪可用于自动翻页及实时伴奏等多种应用。本报告提出一种受Wilson和Adams于2013年论文启发的新方法，后者引入谱混合（SM）核用于高斯过程（GP）回归。由于SM核源自频域中的高斯混合，其特别适合建模音符叠加的功率谱，其中能量集中在每个音符基频的倍数上。我们的跟踪器首先使用GP对 solo钢琴音乐中800个采样（约18毫秒）的音频帧进行统计推断，以推断演奏的音符。随后，这些预测被用于时长相关的隐马尔可夫模型，以实时预测最可能的谱面位置。我们的两阶段方法不仅在为键盘演奏的四部合唱诗歌等谱面上成功运行，也在小提琴、双簧管和 flute 等乐器上实现了跟踪。这凸显了GP在音频信号上的统计推断的强大与灵活性。鉴于本项目的成功，我们为文献贡献了GP在谱面跟踪中的首个概念验证应用，以及更广泛的在线音乐信息检索（MIR）任务中的应用。本项目还贡献了一个使用适配开源用户界面的实时谱面跟踪产品。未来工作包括提高对重复音符和重踏踏 pedal 使用情况下的跟踪精度，适配谱面的细微偏差，以及建模多乐器作品。