AdaptiSent：面向多模态方面情感分析的上下文感知自适应注意力
计算与语言
2025-07-18 v1
摘要
我们提出AdaptiSent，一个用于多模态方面情感分析（MABSA）的新框架，利用自适应跨模态注意力机制提高情感分类和方面词抽取效果，同时处理文本和图像。我们的模型集成动态模态加权和上下文自适应注意力，通过聚焦文本线索与视觉上下文之间的相互作用，增强对情感和方面相关信息的提取。我们使用多个基线方法进行测试，包括传统文本模型和其他多模态方法。来自标准Twitter数据集的结果表明，AdaptiSent在精确率、召回率和F1分数上均超越现有模型，尤其擅长识别那些对于准确情感和方面词抽取至关重要的细微跨模态关系。这种效果源于模型能够根据上下文相关性动态调整注意力焦点，从而在各种多模态数据集中提高了情感分析的深度和准确性。AdaptiSent为MABSA树立了新的标准，显著超越当前方法，尤其在理解复杂多模态信息方面表现突出。
引用
@article{arxiv.2507.12695,
title = {AdaptiSent: Context-Aware Adaptive Attention for Multimodal Aspect-Based Sentiment Analysis},
author = {S M Rafiuddin and Sadia Kamal and Mohammed Rakib and Arunkumar Bagavathi and Atriya Sen},
journal= {arXiv preprint arXiv:2507.12695},
year = {2025}
}
备注
12 pages (including references), 2 figures (Fig. 1 overview, Fig. 2 hyperparameter sensitivity with two subplots), 6 tables (performance, ablation, dataset stats, case studies, etc.), accepted at ASONAM 2025 (Social Network Analysis and Mining)