用于学习离散语音表征的自回归协同训练
计算与语言
2022-11-01 v2
摘要
尽管已有若干用于学习离散语音表征的自监督方法被提出，但这些看似相似的方法彼此间如何关联尚不清楚。本文中，我们考虑一个带离散潜变量的生成模型，该模型学习语音的离散表征。学习该生成模型的目标被表述为信息论协同训练。除广泛的通用性外，该目标可用多种方法优化，涵盖了类 HuBERT 训练与用于学习离散表征的向量量化。在实验上，我们发现所提方法学习的离散表征与语音单元高度相关，比类 HuBERT 训练和向量量化相关性更强。
引用
@article{arxiv.2203.15840,
title = {Autoregressive Co-Training for Learning Discrete Speech Representations},
author = {Sung-Lin Yeh and Hao Tang},
journal= {arXiv preprint arXiv:2203.15840},
year = {2022}
}