ReFlow-VC：基于整流流和说话人特征优化的零样本语音转换
声音
2025-06-03 v1 音频与语音处理
摘要
近年来，基于扩散的生成模型在语音转换中展现出了卓越的性能，包括去噪扩散概率模型（DDPM）等。然而，这些模型的优势是以需要大量采样步骤为代价的。这一限制阻碍了它们在真实世界场景中的实际应用。在本文中，我们提出了 ReFlow-VC，一种基于整流流的新型高保真语音转换方法。具体而言，ReFlow-VC 是一个常微分方程（ODE）模型，它沿最直接路径将高斯分布转化为真实的 Mel 频谱图分布。此外，我们提出了一种利用内容和基频信息来优化说话人特征的建模方法，使说话人特征能够更准确地反映当前语音的属性。实验结果表明，ReFlow-VC 在小数据集和零样本场景中表现异常优异。
引用
@article{arxiv.2506.01032,
title = {ReFlow-VC: Zero-shot Voice Conversion Based on Rectified Flow and Speaker Feature Optimization},
author = {Pengyu Ren and Wenhao Guan and Kaidi Wang and Peijie Chen and Qingyang Hong and Lin Li},
journal= {arXiv preprint arXiv:2506.01032},
year = {2025}
}
备注
Comment: 5 pages, 2 figure, accepted by Interspeech 2025