基于文本情感与语音情感一致性的自回归 TTS 模型情感控制
计算与语言
2026-05-20 v3
摘要
虽然文本转语音 (TTS) 系统通过自然语言指令实现情感控制，但当目标情感与文本语义冲突时，表达性、自然性和语音质量会下降。我们提出一种基于文本情感与显式语音情感不一致程度的动态尺度的跨模态一致性引导的分类无条件引导方法 (CCG-CFG)，用以取代 dropout 条件中的文本情感。我们还采用硬样本挖掘策略蒸馏 CCG-CFG 引导信号，提高 TTS 模型在情感对齐方面的能力。评估在五个情感语料库和两个 TTS 基准上表明，我们的方法应用于 CosyVoice2 可在情感识别准确率上实现最高 12% 的绝对提升，在主观评分上实现最高 10% 的相对提升，超越包括 HierSpeech++、Qwen3-TTS 和原始 CosyVoice2 在内的基线，同时保持语音可理解性、自然性和高质量。
引用
@article{arxiv.2510.13293,
title = {Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models},
author = {Yizhou Peng and Yukun Ma and Chong Zhang and Yi-Wen Chao and Chongjia Ni and Bin Ma and Eng Siong Chng},
journal= {arXiv preprint arXiv:2510.13293},
year = {2026}
}
备注
Updated and resubmitted to Interspeech 2026