用你自己的声音说外语：跨语言神经编解码语言建模
计算与语言
2023-03-08 v1 人工智能
声音
音频与语音处理
摘要
我们提出一种用于跨语言语音合成的跨语言神经编解码语言模型 VALL-E X。具体而言，我们扩展 VALL-E 并训练一个多语言条件编解码语言模型，以源语言语音和目标语言文本同时为提示，预测目标语言语音的声学 token 序列。VALL-E X 继承了强大的上下文学习能力，可应用于零样本跨语言文本到语音合成与零样本语音到语音翻译任务。实验结果表明，它仅需源语言中的一条语音 utterance 作为提示，即可生成目标语言的高质量语音，同时保留未见说话人的声音、情感与声学环境。此外，VALL-E X 有效缓解了外国口音问题，该问题可由语言 ID 控制。音频样本见 \url{https://aka.ms/vallex}。
引用
@article{arxiv.2303.03926,
title = {Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling},
author = {Ziqiang Zhang and Long Zhou and Chengyi Wang and Sanyuan Chen and Yu Wu and Shujie Liu and Zhuo Chen and Yanqing Liu and Huaming Wang and Jinyu Li and Lei He and Sheng Zhao and Furu Wei},
journal= {arXiv preprint arXiv:2303.03926},
year = {2023}
}
备注
We encourage readers to listen to the audio samples on our demo page: \url{https://aka.ms/vallex}