利用神经隐马尔可夫模型学习离散语音表示的依赖关系
计算与语言
2022-11-01 v1
摘要
尽管离散潜变量模型在自监督学习中取得了巨大成功，但大多数模型假设帧是独立的。由于语音感知中音素的片段性，在帧级别对潜变量之间的依赖关系进行建模有可能改进在语音相关任务上学习到的表示。在这项工作中，我们假设潜变量之间具有马尔可夫依赖关系，并提出使用神经隐马尔可夫模型学习语音表示。我们的通用框架使我们能够在固定参数数量的同时，与假设独立性的自监督模型进行比较。所增加的依赖关系改善了音素信息的可获取性、音素分割以及音素的簇纯度，展示了所假设依赖关系的益处。
引用
@article{arxiv.2210.16659,
title = {Learning Dependencies of Discrete Speech Representations with Neural Hidden Markov Models},
author = {Sung-Lin Yeh and Hao Tang},
journal= {arXiv preprint arXiv:2210.16659},
year = {2022}
}