基于中间瓶颈特征与非流式教师指导的流式语音转换
音频与语音处理
2022-10-28 v1 声音
摘要
流式语音转换（VC）是一项将一个人的声音实时转换为另一个人声音的任务。以往的流式语音转换方法使用从自动语音识别（ASR）系统中提取的音素后验概率图（PPGs）来表示说话人无关信息。然而，PPGs 缺乏源说话人的韵律和发声信息，并且流式 PPGs 包含不期望的源说话人音色泄漏。在本文中，我们提出使用中间瓶颈特征（IBFs）来替代 PPGs。使用 IBFs 训练的语音转换系统保留了更多源说话人的韵律和发声信息。此外，我们提出了一种非流式教师指导（TG）框架来解决音色泄漏问题。实验表明，我们提出的 IBFs 和 TG 框架在 160 毫秒的未来感受野下，实现了 3.85 的流式语音转换自然度、3.77 的内容一致性和 3.77 的音色相似度，均达到最先进水平，显著优于以往的流式语音转换系统。
引用
@article{arxiv.2210.15158,
title = {Streaming Voice Conversion Via Intermediate Bottleneck Features And Non-streaming Teacher Guidance},
author = {Yuanzhe Chen and Ming Tu and Tang Li and Xin Li and Qiuqiang Kong and Jiaxin Li and Zhichao Wang and Qiao Tian and Yuping Wang and Yuxuan Wang},
journal= {arXiv preprint arXiv:2210.15158},
year = {2022}
}
备注
The paper has been submitted to ICASSP2023