利用离散语义单元增强希伯来语 TTS 稳定性
声音
2024-10-30 v1 音频与语音处理
摘要
本研究提出一种改进的文本到语音（TTS）生成方法，显著增强了跨语言的采样稳定性，尤其侧重于希伯来语。通过利用从自监督模型中获得的、具有更高语音相关性的离散语义单元，我们的方法解决了 TTS 系统（尤其是处理像希伯来语这类无变音符文字的系统）中常遇到的内在不稳定性。利用 HuBERT 编码，我们的模型生成针对 TTS 任务优化的离散表示，从而减少了对基于变音符的文本处理的依赖。这一进步不仅简化了语言建模过程，还由于语义单元的解耦特性，提高了语音输出的鲁棒性并展现了可控性。声码器中说话人嵌入的加入进一步有助于捕捉说话人独特的嗓音特征，从而提升了合成语音的自然度。我们的实验结果表明，该方法不仅在希伯来语中保持了高性能，还展现了对英语的适应性，突显了其在普遍增强 TTS 系统稳定性方面的有效性。我们名为 LOTHM（Language of The Hebrew Man）的方法在稳定性方面优于现有方法，同时在自然度和说话人相似度方面达到了与先前方法相当的水平，使其成为未来语音合成应用中一个极具吸引力的选择。样本可在我们的页面 pages.cs.huji.ac.il/adiyoss-lab/LoTHM 找到。
引用
@article{arxiv.2410.21502,
title = {Enhancing TTS Stability in Hebrew using Discrete Semantic Units},
author = {Ella Zeldes and Or Tal and Yossi Adi},
journal= {arXiv preprint arXiv:2410.21502},
year = {2024}
}