离散与软语音单元比较以改善语音转换
音频与语音处理
2022-06-09 v2 声音
摘要
语音转换的目标是将其源语音转换为目标音色，同时保持内容不变。在本文中，我们关注用于语音转换的自监督表示学习。具体而言，我们比较了作为输入的离散与软语音单元。我们发现离散表示能有效去除说话人信息但丢弃了部分语言内容——导致发音错误。作为解决方案，我们提出了软语音单元。为学习软单元，我们预测离散语音单元上的分布。通过建模不确定性，软单元捕获了更多内容信息，提升了转换语音的可懂度与自然度。样本见 https://ubisoft-laforge.github.io/speech/soft-vc/。代码见 https://github.com/bshall/soft-vc/。
引用
@article{arxiv.2111.02392,
title = {A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion},
author = {Benjamin van Niekerk and Marc-André Carbonneau and Julian Zaïdi and Mathew Baas and Hugo Seuté and Herman Kamper},
journal= {arXiv preprint arXiv:2111.02392},
year = {2022}
}
备注
5 pages, 2 figures, 2 tables. Accepted at ICASSP 2022