UniMSE：面向统一多模态情感分析与情绪识别
计算与语言
2022-11-22 v1
摘要
多模态情感分析（MSA）与对话中情绪识别（ERC）是计算机理解人类行为的关键研究课题。从心理学视角，情绪是短时间内情感或感受的表达，而情感形成并维持更长时间。然而，多数现有工作将情感与情绪分开研究，未充分挖掘二者背后的互补知识。本文提出一种多模态情感知识共享框架（UniMSE），从特征、标签和模型层面统一 MSA 与 ERC 任务。我们在句法与语义层面进行模态融合，并引入模态间与样本间的对比学习，以更好地捕捉情感与情绪间的差异与一致性。在 MOSI、MOSEI、MELD 和 IEMOCAP 四个公开基准数据集上的实验证明了所提方法的有效性，并相较最先进方法取得一致提升。
引用
@article{arxiv.2211.11256,
title = {UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition},
author = {Guimin Hu and Ting-En Lin and Yi Zhao and Guangming Lu and Yuchuan Wu and Yongbin Li},
journal= {arXiv preprint arXiv:2211.11256},
year = {2022}
}
备注
Accepted to EMNLP 2022 main conference