改进基于神经转导器的 ASR 中的计划采样
音频与语音处理
2023-05-26 v1
摘要
循环神经网络转导器（RNNT）是一种前景广阔的自动语音识别（ASR）方法，其引入了自回归考虑语言方面的预测网络。为训练自回归部分，使用真实标记替代先前的输出标记，这导致对错误历史标记鲁棒性不足；解码中的识别错误会引发进一步错误。计划采样（SS）是一种通过对部分真实标记随机替换为模型实际生成输出来使自回归模型对历史错误具备鲁棒性的技术。SS 缓解了训练与解码步骤间的差距（即曝光偏差），常用于注意力编码器-解码器训练。然而，由于将 SS 应用于 RNNT 的难度源于其复杂的输出形式，SS 尚未在 RNNT 中得到充分研究。本文提出适用于 RNNT 的 SS 方法。我们的 SS 方法从 RNNT 自身分布（即内部语言模型或 RNNT 输出）中采样标记。在三个数据集上的实验证实，采用我们的 SS 方法训练的 RNNT 取得了最佳 ASR 性能。特别是在日语 ASR 任务上，我们的最佳系统优于先前的最优替代方案。
引用
@article{arxiv.2305.15958,
title = {Improving Scheduled Sampling for Neural Transducer-based ASR},
author = {Takafumi Moriya and Takanori Ashihara and Hiroshi Sato and Kohei Matsuura and Tomohiro Tanaka and Ryo Masumura},
journal= {arXiv preprint arXiv:2305.15958},
year = {2023}
}
备注
Accepted to ICASSP 2023