Rubato：带时间戳的钢琴乐谱转录

我们考虑将音乐录音转换为带有时间戳的人类可读乐谱。此类输出使听众能够清晰地可视化rubato（具有时序表达性的演奏），学习者可以对照书写的乐谱诊断合奏的准确性和节奏选择，音乐史学者可以比较同一作品不同录音的演出风格。我们引入（1）一个以提示为条件的编码器-解码器模型，命名为Rubato，训练后输出（2）一种新的多音乐文本表示，命名为InterMo，该表示我们设计用于序列到序列训练的兼容性。我们的实验表明，Rubato从音频中生成的钢琴乐谱在符号准确性上优于现有最佳方法，后者基于级联。我们发现，即使级联获得真实MIDI而非音频，Rubato仍表现更好，这表明现有方法的上限主要来自表征问题，而非声学问题。进一步地，由于Rubato是在多个相关任务（带提示）下训练的，它在诸如MIDI音符定位和节拍/下拍检测等更简单任务上与最佳单任务系统相当或更优。演示可在 https://nctamer.github.io/rubato-transcription 查看。