HybridVC: 基于文本和音频提示的高效语音风格转换
声音
2024-09-26 v2 多媒体
音频与语音处理
摘要
我们介绍了HybridVC，一个基于预训练条件变分自编码器（CVAE）的语音转换（VC）框架，它结合了潜在模型与对比学习的优势。HybridVC支持文本和音频提示，实现更灵活的语音风格转换。HybridVC对以预训练说话人编码器获取的说话人嵌入为条件的潜在分布进行建模，并通过对比学习并行优化风格文本嵌入以与说话人风格信息对齐。因此，HybridVC可以在有限计算资源下高效训练。我们的实验展示了HybridVC卓越的训练效率及其先进的跨模态语音风格转换能力。这突显了其在各种社交媒体平台中用户自定义个性化语音等广泛应用中的潜力。全面的消融研究进一步验证了我们方法的有效性。
引用
@article{arxiv.2404.15637,
title = {HybridVC: Efficient Voice Style Conversion with Text and Audio Prompts},
author = {Xinlei Niu and Jing Zhang and Charles Patrick Martin},
journal= {arXiv preprint arXiv:2404.15637},
year = {2024}
}
备注
Proceedings of Interspeech