DreamVoice：文本引导的语音转换
音频与语音处理
2024-06-25 v1
摘要
生成式语音技术正在快速发展，为提供更个性化和包容性的体验创造机会。传统的单次语音转换（VC）需要在推理时获取目标录音，限制了其生成所需语音 timbre 的便捷性。文本引导的生成提供了一个直观的解决方案，将语音转换为用户需要的"梦幻语音"。我们的论文对VC技术做出了两个主要贡献：（1）DreamVoiceDB，一个来自VCTK和LibriTTS的900名说话人语音 timbre 注释的稳健数据集；（2）两个文本引导的VC方法：DreamVC，一个基于扩散的文本引导VC模型；以及DreamVG，一个可与任何单次VC模型结合的通用文本到语音生成插件。实验结果表明，我们的方法在DreamVoiceDB数据集上训练后，生成的语音 timbre 与文本提示准确对齐，并实现高质量的VC。
引用
@article{arxiv.2406.16314,
title = {DreamVoice: Text-Guided Voice Conversion},
author = {Jiarui Hai and Karan Thakkar and Helin Wang and Zengyi Qin and Mounya Elhilali},
journal= {arXiv preprint arXiv:2406.16314},
year = {2024}
}
备注
Accepted at INTERSPEECH 2024