自监督预训练中单个领域因子影响的测量

人类语音数据包含丰富的领域因子集合，如口音、句法与语义多样性或声学环境。先前的工作整体探讨了自动语音识别中预训练与微调之间的领域失配效应，但未剖析单个因子的贡献。在本文中，我们提出一项受控研究，以更好地理解这些因子对预训练表示在自动语音识别中性能的影响。为此，我们在修改后的自然语音或合成音频上预训练模型，每次仅修改单个领域因子，然后测量微调后的性能。结果表明，语音领域因子在预训练期间起重要作用，而语法和句法因子则远不那么重要。据我们所知，这是首项更好地理解语音自监督预训练中预训练集领域特征的研究。