对话界面中通过多模态实现共情

代理是大型语言模型 (LLM) 和生成式 AI 最新应用之一，其有效性取决于多模态能力以导航复杂的用户环境。对话健康代理 (CHA) 作为这一范例，正在通过超越文本分析、融合情感智能，提供细致入微的支持。本文介绍了一个基于 LLM 的 CHA，专为丰富的多模态对话而设计，尤其是在精神健康支持领域。它能够通过分析多模态线索来解读和响应用户的情感状态，从而提供情境感知且富有共情力的语言响应。我们的实现利用了通用的 openCHA 框架，综合评估包括以多种情感语调表达的中性提示：悲伤、愤怒和喜悦。我们评估了所提 CHA 计划能力的一致性和可重复性。此外，人类评估者批评 CHA 的共情表达，结果显示 CHA 的输出与评估者的评估之间存在惊人的一致性。这些结果确认了声乐 (即将变为多模态) 情感识别在加强 CHAs 所建立共情连接方面的必不可少作用，巩固了其在交互式、充满同情心的 digital health 解决方案中的地位。