利用状态空间模型与Kolmogorov-Arnold网络增强长程依赖性：面向基于方面的情感分析
微分几何
2025-01-20 v2
摘要
基于方面的情感分析(ABSA)评估实体文本中特定方面的情感。然而，注意力机制和神经网络模型在处理语法约束方面存在困难。注意力机制的二次复杂度也限制了其在ABSA中捕获方面词与情感词之间长程依赖关系的采用。这种复杂度可能导致对无关上下文词的误解释，限制其仅适用于短程依赖。为解决上述问题，我们提出了一种新方法来增强ABSA中方面词与情感词之间长程依赖关系(MambaForGCN)。该方法整合了基于语法的图卷积网络(SynGCN)和MambaFormer(Mamba-Transformer)模块来编码具有依赖关系和语义信息的输入。MambaFormer模块中的多头注意力(MHA)和选择性状态空间模型(Mamba)块作为渠道，用于增强方面词与情感词之间的短程和长程依赖。我们还引入了Kolmogorov-Arnold网络(KANs)门控融合，一种自适应特征表示系统，用于整合SynGCN和MambaFormer并捕获非线性、复杂依赖。实验结果表明，MambaForGCN在三个基准数据集上均表现出色，优于最先进(SOTA)基线模型。
引用
@article{arxiv.2407.10346,
title = {Flexibility and rigidity of conformal embeddings in Lorentzian manifolds},
author = {Alaa Boukholkhal},
journal= {arXiv preprint arXiv:2407.10346},
year = {2025}
}
备注
To appear in IMRN