利用参考编码器与端到端文本转语音改进口音转换
计算与语言
2020-05-20 v1 声音
音频与语音处理
摘要
口音转换（AC）将非母语说话人的口音转换为母语口音，同时保持说话人的音色。在本文中，我们提出了提高口音转换适用性与质量的方法。首先，我们假设在转换阶段无可用的参考语音，因此采用在母语语音上训练的端到端文本转语音系统来生成母语参考语音。为提升转换语音的质量与口音，我们引入了参考编码器，使我们能够利用多源信息。其动机在于从母语参考中提取的声学特征与语言信息，它们与传统的音素后验图（PPGs）互补，因此可拼接为特征以改进仅基于PPGs的基线系统。此外，我们使用基于GMM的注意力替代加窗注意力来优化模型结构，以提升合成性能。实验结果表明，应用所提技术后，集成系统在保持非母语说话人声音身份的同时，显著提高了声学质量（平均意见得分相对提升30%）与母语口音（相对偏好68%）。
引用
@article{arxiv.2005.09271,
title = {Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech},
author = {Wenjie Li and Benlai Tang and Xiang Yin and Yushi Zhao and Wei Li and Kang Wang and Hao Huang and Yuxuan Wang and Zejun Ma},
journal= {arXiv preprint arXiv:2005.09271},
year = {2020}
}