TacoLM：配备加盖注意力机制的编解码器语言模型是高效零样文本到语音合成器
音频与语音处理
2024-06-25 v1 人工智能
计算与语言
摘要
神经编解码器语言模型(LM)在零样文本到语音(TTS)合成中展现出强大的能力。然而,编解码器LM常因其自回归特性和文本与音频之间的隐式对齐,在推理速度和稳定性方面存在局限。为处理这些挑战,本文提出一种新的神经编解码器LM变体,称为TacoLM。具体而言,TacoLM引入门控注意力机制以提高训练和推理效率,并缩小模型规模。同时,为每个解码器层添加一个门控交叉注意力层,可提高合成语音的效率和内容准确性。在Librispeech语料库上的评估表明,本文提出的TacoLM在词错率、说话人相似度和平均意见评分(MOS)方面均优于VALL-E,且参数数量减少90%,推理速度提升5.2倍。演示和代码已发布于https://ereboas.github.io/TacoLM/。
关键词
引用
@article{arxiv.2406.15752,
title = {TacoLM: GaTed Attention Equipped Codec Language Model are Efficient Zero-Shot Text to Speech Synthesizers},
author = {Yakun Song and Zhuo Chen and Xiaofei Wang and Ziyang Ma and Guanrou Yang and Xie Chen},
journal= {arXiv preprint arXiv:2406.15752},
year = {2024}
}
备注
INTERSPEECH 2024