用于复调乐器计算机伴奏的神经网络乐谱跟随器
声音
2025-03-11 v1 音频与语音处理
摘要
基于计算机的人类音乐表演实时伴奏包含三个关键任务：识别演奏者正在演奏的内容、定位其在乐谱中的位置，以及同步播放伴奏部分。其中，第二个任务（乐谱跟随）已通过字符串序列上的动态规划、隐马尔可夫模型和在线时间规整等方法得到解决。然而，深度学习的卓越成功技术尚未直接应用于这一问题。因此，我们引入了 HeurMiT，一种基于深度学习的乐谱跟随新框架，利用旨在学习压缩潜在表示的神经网络架构，使其即便在偏离乐谱的情况下也能实现精确的演奏者跟踪。同时，我们实现了一个实时 MIDI 数据增强工具包，旨在增强这些学习表示的鲁棒性。此外，我们将整个系统与简单的启发式规则相结合，创建了一个综合框架，能够与现有的转录和伴奏技术无缝对接。然而， thorough 实验表明，尽管 HeurMiT 计算效率出色，但其固有局限性使其无法在实际的乐谱跟随场景中实用。因此，我们将本工作作为对基于深度学习的乐谱跟随器领域的初步探索，同时强调了一些有前景的方向，以鼓励未来研究构建鲁棒的、最先进的神经乐谱跟随系统。
引用
@article{arxiv.2503.06348,
title = {A Neural Score Follower for Computer Accompaniment of Polyphonic Musical Instruments},
author = {Ashwin Pillay},
journal= {arXiv preprint arXiv:2503.06348},
year = {2025}
}
备注
Masters Thesis