具备主动知识 grounding 的情感多模态智能体：面向情感对齐的营销对话
计算与语言
2025-12-23 v2 人工智能
机器学习
摘要
近期大语言模型（LLM）的进展已实现流畅的对话系统，但大多数系统仍为被动式，难以应对情感丰富且目标导向的情境，如营销对话。为此，我们提出AffectMind，一种具备情感感知能力的多模态对话智能体，通过主动推理和动态知识 grounding 来维持情感对齐且具说服力的互动。AffectMind由三个组件构成：主动知识 grounding 网络（PKGN），持续从文本、视觉和语音中更新事实和情感上下文；情感-意图对齐模型（EIAM），联合建模用户情感和购买意图，以适应说服策略；强化对话环路（RDL），通过用户响应的强化信号优化情感连贯性和参与度。实验在两个新建构的营销对话数据集MM-ConvMarket和AffectPromo上显示，AffectMind在情感一致性提升26%，说服成功率提升19%，长期用户参与度提升23%，凸显情感 grounding 的主动性是商业多模态智能体的关键能力。
引用
@article{arxiv.2511.21728,
title = {Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue},
author = {Lin Yu and Xiaofei Han and Yifei Kang and Chiung-Yi Tseng and Danyang Zhang and Ziqian Bi and Zhimo Han},
journal= {arXiv preprint arXiv:2511.21728},
year = {2025}
}