结合注入式情感归因思考的拟人化交互统一口语模型
计算与语言
2026-01-09 v1 声音
摘要
本文提出了一种用于情感智能的统一口语模型，并通过一种称为注入式情感归因思考（IEAT）的新型数据构建策略加以增强。IEAT 将用户情感状态及其潜在原因纳入模型的内部推理过程，使情感感知推理被内化，而非作为显式监督处理。该模型采用两阶段渐进式策略进行训练。第一阶段通过自蒸馏进行语音-文本对齐和情感属性建模，第二阶段进行端到端跨模态联合优化，以确保文本与口语情感表达之间的一致性。在拟人化口语对话系统挑战赛（HumDial）情感智能基准上的实验表明，所提出的方法在基于 LLM 和人工评估下，于情感轨迹建模、情感推理和共情响应生成方面均取得了顶尖性能。
引用
@article{arxiv.2601.04960,
title = {A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction},
author = {Qing Wang and Zehan Li and Yaodong Song and Hongjie Chen and Jian Kang and Jie Lian and Jie Li and Yongxiang Li and Xuelong Li},
journal= {arXiv preprint arXiv:2601.04960},
year = {2026}
}