通过注意力引导消除基于 LLM 的 TTS 模型中的稳定性幻觉
声音
2026-02-16 v2 人工智能
摘要
本文聚焦于通过改进和利用注意力机制来解决基于 LLM 的文本转语音 (TTS) 模型中的稳定性幻觉（如重复或遗漏语音）。首先，我们分析了 LLM 中文本 token 与语音 token 之间的对齐机制。随后我们提出了一种称为最优对齐分数 (OAS) 的指标，该指标采用 Viterbi 算法评估文本-语音对齐质量。随后，OAS 被集成到 CosyVoice2 的训练中，以辅助 LLM 学习连续、稳定的对齐。此外，预训练的注意力值被用于通过思维链 (CoT) 指导学生 CosyVoice2 的训练，从而进一步减少合成语音中的稳定性幻觉。在 Seed-TTS-Eval 和 CV3-Eval 测试集上的实验表明，所提方法可以有效减少 CosyVoice2 的稳定性幻觉，且不会引入额外的负面影响。附录位于 https://wsmzzz.github.io/llm_attn。
引用
@article{arxiv.2509.19852,
title = {Eliminating stability hallucinations in llm-based tts models via attention guidance},
author = {ShiMing Wang and ZhiHao Du and Yang Xiang and TianYu Zhao and Han Zhao and Qian Chen and XianGang Li and HanJie Guo and ZhenHua Ling},
journal= {arXiv preprint arXiv:2509.19852},
year = {2026}
}
备注
The authors are withdrawing this preprint as it was submitted prematurely without the final approval of all collaborating institutions. We apologize for any inconvenience