BERT-APC：基于音乐上下文推断的无参考自动音高校正框架

自动音高校正（APC）通过将音高偏差与预期音符对齐来增强人声录音。然而，现有的APC系统要么依赖参考音高，限制了实际应用性，要么采用简单的音高估计算法，往往难以保留表达性和自然性。我们提出BERT-APC，一种无参考APC框架，可在保持人声表现表达性和自然性的同时纠正音高错误。在BERT-APC中，一个稳定的音高预测器首先从音调后的唱声中估计每个音符的稳定音高，其中稳定音高是来自音符稳定区域的连续音高，近似其感知音高。随后，一个基于上下文的音符音高预测器使用一个被改造的音乐语言模型来推断预期的音高序列，该模型包含音乐上下文。最后，一个音符级别的校正算法在保留情感表达意图偏差的同时纠正音高错误。我们还引入一种可学习的数据增强策略，通过模拟现实的音调模式来提高鲁棒性。与两项最近的唱声语音转录模型相比，BERT-APC在原始音高准确率上表现出优势，尤其是在高度音调化的样本上，比第二名模型ROSVOT提升了10.49个百分点。在MOS测试中，BERT-APC实现了最高的质量评级$4.32 \pm 0.15$，显著高于Auto-Tune（$3.22 \pm 0.18$）和Melodyne（$3.08 \pm 0.18$），同时保持相当于保存表达细微差别的能力。就我们所知，这是首个利用音乐语言模型实现无参考音高校正并融合符号音乐上下文的APC模型。已纠正的音频样本可在https://joshua-1995.github.io/BERT-APC-Demo/获取。