一种用于多模态方面级情感分析的新型基于能量的模型机制
人工智能
2023-12-18 v2
摘要
多模态方面级情感分析（MABSA）最近吸引了越来越多的关注。基于跨度提取的方法，如FSUIE，因其对输入序列和目标标签的联合建模而在情感分析中展现出强大的性能。然而，先前的方法仍存在一定局限性：（i）它们忽略了不同分析目标（方面或情感）之间视觉信息关注点的差异。（ii）直接组合来自单模态编码器的特征可能不足以消除模态鸿沟，并可能导致难以捕获图像-文本的成对相关性。（iii）现有的用于MABSA的基于跨度的方法忽略了目标跨度边界的成对相关性。为解决这些局限性，我们提出了一种名为DQPSA的新颖框架用于多模态情感分析。具体来说，我们的模型包含一个提示作为双重查询（PDQ）模块，该模块将提示同时用作视觉查询和语言查询，以提取提示感知的视觉信息并加强视觉信息与分析目标之间的成对相关性。此外，我们引入了一个基于能量的成对专家（EPE）模块，该模块从基于能量模型（EBM）的角度对分析目标的边界配对进行建模。该专家基于成对稳定性预测方面或情感跨度。在三个广泛使用的基准数据集上的实验表明，DQPSA优于先前的方法，并达到了新的最先进性能。
引用
@article{arxiv.2312.08084,
title = {A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis},
author = {Tianshuo Peng and Zuchao Li and Ping Wang and Lefei Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:2312.08084},
year = {2023}
}
备注
AAAI2024