DualKanbaFormer：面向多模态方面情感分析的高效选择稀疏框架
计算与语言
2025-04-22 v3
摘要
多模态方面情感分析（MABSA）通过整合文本数据与图像等补充模态，提供更精细和全面的情感理解。然而，尽管现有注意力机制在基准测试方面表现突出，但其二次复杂度限制了对文本和视觉模态中全局上下文依赖关系及丰富语义信息的充分捕获。为此，我们提出DualKanbaFormer，一种新型框架，采用并行的文本和视觉KanbaFormer模块实现稳健的多模态分析。 our 方法引入方面驱动稀疏注意力（ADSA），动态平衡粗粒度聚合与细粒度选择，以实现方面聚焦的精确性，同时保持文本和视觉表征中的全局上下文感知与局部精度。此外，我们利用选择性状态空间模型（Mamba）捕获跨两种模态的广泛全局语义信息。进一步，我们用Kolmogorov-Arnold网络（KANs）和动态tanh（DyT）取代传统的前馈网络和归一化操作，以提升非线性表达能力和推理稳定性。为有效集成文本与视觉特征，我们设计了多模态门控融合层，动态优化模态间相互作用，显著提升模型在MABSA任务中的性能。对两个公开数据集上的全面实验表明，DualKanbaFormer consistently 优于多个最先进（SOTA）模型。
引用
@article{arxiv.2408.15379,
title = {DualKanbaFormer: An Efficient Selective Sparse Framework for Multimodal Aspect-based Sentiment Analysis},
author = {Adamu Lawan and Juhua Pu and Haruna Yunusa and Muhammad Lawan and Aliyu Umar and Adamu Sani Yahya and Mahmoud Basi},
journal= {arXiv preprint arXiv:2408.15379},
year = {2025}
}
备注
12 pages, 2 figures, and 3 tables