面向目标的基于方面多模态情感分析：一种注意力胶囊提取与多头融合网络
计算与语言
2021-03-16 v1 多媒体
摘要
多模态情感分析目前在多个领域中已显现其重要性。为进行情感分析，对应同一目标的不同方面的区分性模态被处理和分析。在本工作中，我们首次提出面向目标的基于方面多模态情感分析（TABMSA）。此外，针对 TABMSA 任务设计了一种注意力胶囊提取与多头融合网络（EF-Net）。基于多头注意力（MHA）的网络和 ResNet-152 分别用于处理文本和图像。MHA 与胶囊网络的结合旨在捕获多模态输入间的交互。除目标方面外，来自上下文和图像的信息也被纳入以传达情感。我们在两个人工标注的数据集上评估所提出的模型，实验结果表明我们的模型在该新任务上的有效性。
引用
@article{arxiv.2103.07659,
title = {Targeted aspect based multimodal sentiment analysis:an attention capsule extraction and multi-head fusion network},
author = {Jiaqian Wang and Donghong Gu and Chi Yang and Yun Xue and Zhengxin Song and Haoliang Zhao and Luwei Xiao},
journal= {arXiv preprint arXiv:2103.07659},
year = {2021}
}