包含错误及任意重复与跳过的音乐演奏的实时音频到乐谱对齐
声音
2022-12-05 v1 机器学习
多媒体
摘要
本文讨论了音乐演奏音频信号到对应乐谱的实时对齐（即乐谱跟随），其能处理演奏中的速度变化、错误以及任意重复和/或跳过（重复/跳过）。这类乐谱跟随在练习与排练的自动伴奏中尤为有用，因为其中常出现错误与重复/跳过。先前文献中提出的算法的简单扩展由于计算复杂度过大的问题，无法应用于实际长度的乐谱。为应对此问题，我们提出了两种带有错误及任意重复/跳过的单声部演奏的隐马尔可夫模型，并在重复/跳过前后乐谱位置的先验概率分布相互独立的假设下推导出了高效的乐谱跟随算法。我们在现代笔记本电脑上证实了算法对实际长度乐谱（约10000个音符）的实时运行，以及在单簧管演奏数据中对重复/跳过后输入演奏的跟踪能力，平均在0.7秒以内。文中还讨论了进一步的改进及对复调信号的扩展。
引用
@article{arxiv.1512.07748,
title = {Real-Time Audio-to-Score Alignment of Music Performances Containing Errors and Arbitrary Repeats and Skips},
author = {Tomohiko Nakamura and Eita Nakamura and Shigeki Sagayama},
journal= {arXiv preprint arXiv:1512.07748},
year = {2022}
}
备注
12 pages, 8 figures, version accepted in IEEE/ACM Transactions on Audio, Speech, and Language Processing