面向多模态情感分析的跨模态门控注意力融合
计算与语言
2022-08-26 v1 人工智能
摘要
多模态情感分析是一项重要的研究任务，旨在基于特定观点视频中不同模态的数据预测情感分数。许多先前的研究已证明利用不同模态间共享与独有信息的重要性。然而，来自多模态数据的高阶组合信号亦有助于提取满意的表征。本文提出 CMGA，一种用于多模态情感分析（MSA）的跨模态门控注意力融合模型，其倾向于在不同模态对之间进行充分交互。CMGA 还添加了一个遗忘门以过滤交互过程中引入的噪声与冗余信号。我们在 MSA 的两个基准数据集 MOSI 和 MOSEI 上进行实验，展示了 CMGA 相对于若干基线模型的性能。我们还进行了消融研究以证明 CMGA 内部不同组件的作用。
引用
@article{arxiv.2208.11893,
title = {Cross-Modality Gated Attention Fusion for Multimodal Sentiment Analysis},
author = {Ming Jiang and Shaoxiong Ji},
journal= {arXiv preprint arXiv:2208.11893},
year = {2022}
}