推进半监督学习在自动语音识别中的极限
音频与语音处理
2022-07-22 v2 机器学习
声音
摘要
我们结合自动语音识别中半监督学习的最新进展，利用 Libri-Light 数据集的无标签音频，在 LibriSpeech 上取得最先进结果。更确切地说，我们使用基于 wav2vec 2.0 预训练预训练得到的巨型 Conformer 模型，通过带 SpecAugment 的噪声学生训练进行训练。由此，我们能够在 LibriSpeech test/test-other 集上实现词错误率（WER）1.4%/2.6%，而当前最先进的 WER 为 1.7%/3.3%。
引用
@article{arxiv.2010.10504,
title = {Pushing the Limits of Semi-Supervised Learning for Automatic Speech Recognition},
author = {Yu Zhang and James Qin and Daniel S. Park and Wei Han and Chung-Cheng Chiu and Ruoming Pang and Quoc V. Le and Yonghui Wu},
journal= {arXiv preprint arXiv:2010.10504},
year = {2022}
}
备注
11 pages, 3 figures, 5 tables. Accepted to NeurIPS SAS 2020 Workshop; v2: minor errors corrected