UniMEEC：迈向统一的多模态情感识别与情感因果分析
计算与语言
2024-10-10 v2
摘要
对话中的多模态情感识别（MERC）和多模态情感因果对抽取（MECPE）最近引起了广泛关注。情感是情感或感觉的表达，是对特定事件或情境（即情感原因）的响应。两者共同解释了人类情感与意图之间的因果关系。然而，现有工作将情感识别和情感原因抽取视为两个独立的问题，忽略了它们天然的因果关系。在本文中，我们提出了一个统一的多模态情感识别与情感因果分析框架（UniMEEC），以探索情感与情感原因之间的因果关系。具体而言，UniMEEC 将 MERC 和 MECPE 任务重新表述为掩码预测问题，并通过因果提示模板将它们统一起来。为了区分模态效应，UniMEEC 提出了一种多模态因果提示，以探测特定于模态的预训练知识，并在面向任务的设置下实现跨任务和跨模态交互。在四个公开基准数据集上的实验结果验证了该模型在 MERC 和 MECPE 任务上的性能，并与先前的 SOTA 方法相比取得了一致的提升。
引用
@article{arxiv.2404.00403,
title = {UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause},
author = {Guimin Hu and Zhihong Zhu and Daniel Hershcovich and Lijie Hu and Hasti Seifi and Jiayuan Xie},
journal= {arXiv preprint arXiv:2404.00403},
year = {2024}
}