EmoShift：轻量化激活引导以提升情感语音合成
音频与语音处理
2026-02-02 v1 人工智能
计算与语言
声音
摘要
实现对情感表达的精确可控，对于产出自然且情境恰当的语音至关重要。然而，许多情感感知语音合成系统（包括大型语言模型 LLM）依赖固定情感嵌入或外部指导，限制了其建模情感特定潜在特征的能力。为此，我们提出了 EmoShift，一种轻量化激活引导框架，包含 EmoSteer 层，学习每个目标情感的引导向量，以捕获其潜在偏移并维持跨 utterance 和类别的稳定恰当表达。仅需 10M 可训练参数，约为全参数微调的 1/30，EmoShift 在客观和主观评估中均优于零样本和全参数微调基线，增强情感表达的同时保持自然度和说话人相似性。进一步分析确认了所提出 EmoSteer 层的有效性，并揭示其在语音合成中实现可控情感强度的潜力。
关键词
引用
@article{arxiv.2601.22873,
title = {EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis},
author = {Li Zhou and Hao Jiang and Junjie Li and Tianrui Wang and Haizhou Li},
journal= {arXiv preprint arXiv:2601.22873},
year = {2026}
}
备注
Activation Steering; Emotion-Aware TTS; Speech Synthesis; Accepted by ICASSP 2026