DC CoMix TTS：一种基于离散编码与 Mixer 协作的端到端表现力语音合成
声音
2023-06-29 v4 计算与语言
音频与语音处理
摘要
尽管中性语音合成（TTS）取得了巨大成功，内容泄漏仍是一个挑战。本文提出一种新的输入表示和简单架构以实现更好的韵律建模。受近期离散编码在 TTS 中应用成功的启发，我们将离散编码引入参考编码器的输入。具体而言，我们利用音频压缩模型中的向量量化器来挖掘其已训练所得的丰富声学信息。此外，我们将改进的 MLP-Mixer 应用于参考编码器，使架构更轻量。由此，我们以端到端方式训练了韵律迁移 TTS。我们通过主观和客观评测证明了方法的有效性。实验表明，当以离散编码作为输入时，参考编码器学到了更好的说话人无关韵律。此外，即使在输入参数更少的情况下，我们也取得了可比的结果。
引用
@article{arxiv.2305.19567,
title = {DC CoMix TTS: An End-to-End Expressive TTS with Discrete Code Collaborated with Mixer},
author = {Yerin Choi and Myoung-Wan Koo},
journal= {arXiv preprint arXiv:2305.19567},
year = {2023}
}
备注
Accepted in Interspeech 2023