自然朗读语音中说话人嵌入解纠缠的研究
音频与语音处理
2023-08-09 v1
摘要
解纠缠是学习能够识别并分离解释数据中观察到的变异因素的表示的任务。解纠缠表示有助于提高数据驱动模型的泛化性、可解释性和公平性。对于语音表示而言，这种解纠缠的效果如何，目前所知甚少。处理语音表示解纠缠的一个主要挑战是语音信号背后未知的生成因素。在本工作中，我们研究编码说话人身份的语音表示在多大程度上可以被解纠缠。为了量化解纠缠，我们识别出高度说话人可变且可作为语音潜在变异因素代理的声学特征。我们发现，当使用促进解纠缠的标准目标进行训练时，说话人嵌入的解纠缠是有限的，但相较于原始表示学习在一定程度上可以得到改善。
引用
@article{arxiv.2308.04225,
title = {Investigating Speaker Embedding Disentanglement on Natural Read Speech},
author = {Michael Kuhlmann and Adrian Meise and Fritz Seebauer and Petra Wagner and Reinhold Haeb-Umbach},
journal= {arXiv preprint arXiv:2308.04225},
year = {2023}
}
备注
To be published at 15th ITG conference on speech communication