Wav2Vec-Aug：利用有限数据改进自监督训练
计算与语言
2022-06-29 v1
摘要
语音表征的自监督学习（SSL）在过去几年中受到广泛关注，但大多数工作集中于拥有大量无标注数据的语言和领域。然而，对于许多语言，即便无标注数据也短缺，这限制了 SSL 的有效性。在本工作中，我们聚焦于通过利用数据增强进行 Wav2Vec 2.0 预训练，将 SSL 应用于可用数据有限的领域这一问题。此外，我们对模型的各个组件提出改进，与 Librispeech test-clean / other 上的 Wav2Vec 2.0 相比，综合相对词错误率（WER）提升高达 13%。
引用
@article{arxiv.2206.13654,
title = {Wav2Vec-Aug: Improved self-supervised training with limited data},
author = {Anuroop Sriram and Michael Auli and Alexei Baevski},
journal= {arXiv preprint arXiv:2206.13654},
year = {2022}
}