解决实时歌剧跟踪中的宣叙调问题

鲁棒的实时歌剧跟踪（乐谱跟随）对于现场歌剧演出与流媒体相关的许多环节极为有用，包括自动歌词显示、摄像机控制或实时视频剪辑。近期工作表明，通过适当措施应对常见的问题如中断与停顿、自发掌声、各类噪声与间奏，当前的音频到音频对齐算法能够以较鲁棒的方式从头到尾跟随整部歌剧。然而，当文本内容相对于旋律或音乐变得突出时——尤其在宣叙调段落中——它们仍不准确。在本文中，我们通过提出并行使用两个专用跟踪器来解决这一特定问题，一个聚焦于音乐敏感特征，另一个聚焦于语音敏感特征。我们首先对语音相关特征进行系统研究，旨在精确对齐同一歌剧不同演出的对应宣叙调。然后我们基于预训练的音乐与语音分类器提出不同方案，以结合两个跟踪器从而提升整部歌剧过程中的全局精度。