ControlVC:具有音高与语速时变控制能力的零样本语音转换
音频与语音处理
2025-04-16 v6 声音
摘要
神经语音合成与声码器的最新进展重新激发了人们对语音转换(VC)的兴趣。除音色迁移外,在许多应用场景中部署 VC 系统时,实现对音高和语速等副语言参数的可控性至关重要。然而,现有研究要么仅提供语句级全局控制,要么在控制上缺乏可解释性。本文中,我们提出 ControlVC,这是首个实现音高和语速时变控制的神经语音转换系统。ControlVC 使用预训练编码器从源语句计算音高与语言嵌入,并从目标语句计算说话人嵌入。这些嵌入随后被拼接并使用声码器转换为语音。它通过对源语句进行 TD-PSOLA 预处理实现语速控制,并通过在将音高轮廓输入音高编码器之前对其进行操控来实现音高控制。我们进行了系统的主观与客观评估以检验语音质量与可控性。结果表明,在非平行与零样本转换任务上,ControlVC 在语音质量上显著优于另外两个自行构建的基线,并且能成功实现时变音高与语速控制。
引用
@article{arxiv.2209.11866,
title = {ControlVC: Zero-Shot Voice Conversion with Time-Varying Controls on Pitch and Speed},
author = {Meiying Chen and Zhiyao Duan},
journal= {arXiv preprint arXiv:2209.11866},
year = {2025}
}
备注
Audio samples: https://bit.ly/3PsrKLJ; Code: https://github.com/MelissaChen15/control-vc