实时歌剧跟踪中结构不匹配的处理

用于现场歌剧可靠实时乐谱跟随的算法具有诸多有用应用前景，例如自动字幕显示或直播中的实时视频剪辑。迄今，此类系统基于一个强假设：歌剧演出线性遵循乐谱结构。然而实践中很少如此，因为存在不同歌剧版本与导演的剪辑选择。本文针对该问题提出一种两级解决方案。我们引入一种具备实时能力的高分辨率（HR）跟踪器，可处理提供给它的特定位置处的跳跃或重复。随后将其与额外的低分辨率（LR）跟踪器结合，后者能以一定不精确性处理随时可能出现的各类不匹配，并可在 HR 跟踪器于乐谱中“迷失”时对其重新定向。我们表明，二者的结合在存在强结构不匹配时提升了跟踪鲁棒性。