通过级联提示与 ICL 基于在线强化学习提升对话式 TTS
音频与语音处理
2026-04-13 v1
摘要
对话式 AI 在表现方面取得了显著进步，但生成具有表达性和可控性的文本转语音 (TTS) 仍面临挑战。具体而言，控制细粒度的语音风格和情感一直困难重重，通常需要大量标记数据。为克服数据瓶颈，本文提出一种可扩展、数据高效的级联框架，将文本风格标记与人类精选的高质量音频提示配对。该方法实现了对细粒度说话风格和人物声线的零样适应。在 TTS 上下文中，这种音频提示相当于进行情境学习 (ICL)，在无需大量参数更新或大规模再训练的情况下，引导模型的韵律和声 timbre。为进一步提升生成质量并缓解幻觉问题，本文引入一种新型的 ICL 基于在线强化学习 (RL) 策略。该策略受 Connectionist Temporal Classification (CTC) 对齐约束，直接针对自回归韵律模型进行主观审美奖励优化。全面的人类感知评估表明，我们的方法在自然度和表达性方面均实现了显著提升，证明了基于 ICL 的在线 RL 方法的有效性。
引用
@article{arxiv.2604.08709,
title = {Enhancing Conversational TTS with Cascaded Prompting and ICL-Based Online Reinforcement Learning},
author = {Zhicheng Ouyang and Seong-Gyun Leem and Bach Viet Do and Haibin Wu and Ariya Rastrow and Yuzong Liu and Florian Metze},
journal= {arXiv preprint arXiv:2604.08709},
year = {2026}
}