降低循环神经网络转换器训练中的曝光偏差
计算与语言
2021-08-25 v1 人工智能
声音
音频与语音处理
摘要
当使用典型的最大似然准则训练循环神经网络转换器（RNNT）时，预测网络仅基于真实标签序列进行训练。这导致在推理过程中，当模型必须处理包含错误的标签序列时，会出现一种被称为曝光偏差的不匹配现象。本文研究了在训练中降低曝光偏差的方法，以提高用于自动语音识别（ASR）的RNNT模型的泛化能力。我们引入了一种对预测网络的标签保持输入扰动。输入令牌序列通过SwitchOut和基于额外令牌语言模型的计划采样进行扰动。在300小时Switchboard数据集上进行的实验证明了这些方法的有效性。通过降低曝光偏差，我们表明可以进一步提高高性能RNNT ASR模型的准确率，并在300小时Switchboard数据集上获得了最先进的结果。
引用
@article{arxiv.2108.10803,
title = {Reducing Exposure Bias in Training Recurrent Neural Network Transducers},
author = {Xiaodong Cui and Brian Kingsbury and George Saon and David Haws and Zoltan Tuske},
journal= {arXiv preprint arXiv:2108.10803},
year = {2021}
}
备注
accepted to Interspeech 2021