MIPS 在 SemEval-2024 任务 3 的表现：基于多模态语言模型的对话多模态情感-原因对提取
计算与语言
2024-04-12 v3 计算机视觉与模式识别
多媒体
摘要
本文介绍了我们针对 SemEval 2024 任务 3 关于对话中多模态情感原因分析的子任务 2 的获胜提交。我们提出了一种新颖的多模态情感识别与多模态情感原因提取（MER-MCE）框架，该框架使用专门的情感编码器集成了文本、音频和视觉模态。我们的方法通过利用特定模态的特征来增强情感理解和因果推理，从而在表现优异的团队中脱颖而出。实验评估证明了我们多模态方法的优势，我们的提交取得了 0.3435 的具有竞争力的加权 F1 分数，排名第三，仅落后第一名 0.0339，落后第二名 0.0025。项目地址：https://github.com/MIPS-COLT/MER-MCE.git
引用
@article{arxiv.2404.00511,
title = {MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models},
author = {Zebang Cheng and Fuqiang Niu and Yuxiang Lin and Zhi-Qi Cheng and Bowen Zhang and Xiaojiang Peng},
journal= {arXiv preprint arXiv:2404.00511},
year = {2024}
}
备注
Ranked 3rd in SemEval '24 Task 3 with F1 of 0.3435, close to 1st & 2nd by 0.0339 & 0.0025