RT-VC：基于语音发音编码的实时零样本语音转换
音频与语音处理
2025-06-13 v1 人工智能
摘要
语音转换已成为众多应用中的关键技术，范围从辅助通信到娱乐。在本文中，我们提出了RT-VC，一个零样本实时语音转换系统，提供超低延迟和高质量性能。我们的方法利用发音特征空间自然地解耦内容和说话人特征，促进更鲁棒和可解释的语音转换。此外，可微分数字信号处理（differentiable digital signal processing, DDSP）的集成使得可以直接从发音特征进行高效声码处理，显著降低转换延迟。实验评估表明，在保持与当前最先进（SOTA）方法相当的合成质量的同时，RT-VC实现了61.4毫秒的CPU延迟，代表延迟降低了13.3%。
引用
@article{arxiv.2506.10289,
title = {RT-VC: Real-Time Zero-Shot Voice Conversion with Speech Articulatory Coding},
author = {Yisi Liu and Chenyang Wang and Hanjo Kim and Raniya Khan and Gopala Anumanchipalli},
journal= {arXiv preprint arXiv:2506.10289},
year = {2025}
}
备注
ACL Demo Track 2025