强化多模态情感支持系统可信度
计算机与社会
2025-11-18 v2
摘要
在当今世界，情感支持日益重要，却对寻求帮助者和提供帮助者都具有挑战。多模态情感支持方法显示出巨大的前景，通过整合多样化的数据源提供同理且情境相关的响应，促进更有效的互动。然而，当前方法存在显著局限，往往仅依赖文本或将其他数据类型转换为文本，或仅提供情感识别，从而忽视了多模态输入的全部潜力。此外，许多研究侧重于响应生成，而未准确识别关键情感支持要素或确保输出可靠性。为克服这些问题，我们提出 MultiMood 框架（i）利用来自视频、音频和文本的多模态嵌入预测情感组成部分并生成符合专业治疗标准的响应。为提高可信度，我们（ii）引入新型心理学准则并应用强化学习（RL）优化大型语言模型（LLM）以确保持续遵循这些标准。我们还（iii）分析了几种先进的 LLM 以评估其多模态情感支持能力。实验结果表明，MultiMood 在 MESC 和 DFEW 数据集上实现了最前沿的性能，而 RL 驱动的可信度改进通过人类和 LLM 评估得到验证，展示了其在该领域应用多模态框架的卓越能力。
引用
@article{arxiv.2511.10011,
title = {Reinforcing Trustworthiness in Multimodal Emotional Support Systems},
author = {Huy M. Le and Dat Tien Nguyen and Ngan T. T. Vo and Tuan D. Q. Nguyen and Nguyen Binh Le and Duy Minh Ho Nguyen and Daniel Sonntag and Lizi Liao and Binh T. Nguyen},
journal= {arXiv preprint arXiv:2511.10011},
year = {2025}
}