AutoCycle-VC：面向与瓶颈无关的零样本跨语言语音转换
声音
2023-10-11 v1 计算与语言
音频与语音处理
摘要
本文提出了一种简单而鲁棒的零样本语音转换系统，其具有循环结构并采用梅尔频谱图预处理。先前的工作由于依赖精心设计的瓶颈结构，存在信息丢失与合成质量不佳的问题。此外，仅依赖自重建损失的模型难以复现不同说话人的声音。为解决这些问题，我们提出了一种循环一致性损失，考虑目标说话人与源说话人之间来回的转换。此外，在说话人编码器训练过程中，利用堆叠的随机打乱梅尔频谱图与标签平滑方法，从语音中提取与时间无关的全局说话人表征，这是实现零样本转换的关键。我们的模型在主观与客观评测中均优于现有的最先进结果。此外，它支持跨语言语音转换并提升了合成语音的质量。
引用
@article{arxiv.2310.06546,
title = {AutoCycle-VC: Towards Bottleneck-Independent Zero-Shot Cross-Lingual Voice Conversion},
author = {Haeyun Choi and Jio Gim and Yuho Lee and Youngin Kim and Young-Joo Suh},
journal= {arXiv preprint arXiv:2310.06546},
year = {2023}
}