端到端语音识别：从监督学习到基于现代架构的半监督学习
计算与语言
2020-07-16 v3 声音
音频与语音处理
摘要
我们研究了用于语音识别的 ResNet、时间-深度可分离卷积网络（Time-Depth Separable ConvNets）和 Transformer 的伪标签半监督训练，采用 CTC 或 Seq2Seq 损失函数。我们在标准 LibriSpeech 数据集上进行实验，并通过伪标签利用来自 LibriVox 的额外无标签数据。我们表明，尽管基于 Transformer 的声学模型仅使用监督数据集时具有更优性能，但半监督训练改善了所有架构和损失函数下的模型，并弥合了它们之间的大部分性能差距。在此过程中，我们在标准监督学习设定下使用外部语言模型解码的端到端声学模型达到了新的最优水平（state-of-the-art），并在半监督训练下达到了新的绝对最优水平。最后，我们研究了利用不同数量无标签音频的效果，提出了几种评估无标签音频特征以改进声学建模的方法，并表明使用更多音频训练的声学模型对外部语言模型的依赖更少。
引用
@article{arxiv.1911.08460,
title = {End-to-end ASR: from Supervised to Semi-Supervised Learning with Modern Architectures},
author = {Gabriel Synnaeve and Qiantong Xu and Jacob Kahn and Tatiana Likhomanenko and Edouard Grave and Vineel Pratap and Anuroop Sriram and Vitaliy Liptchinsky and Ronan Collobert},
journal= {arXiv preprint arXiv:1911.08460},
year = {2020}
}
备注
Published at the workshop on Self-supervision in Audio and Speech (SAS) at the 37th International Conference on Machine Learning (ICML 2020), Vienna, Austria