聚焦重要之处：图选择性状态聚焦注意力网络
机器学习
2025-12-09 v1
摘要
传统图神经网络（GNN）缺乏可扩展性，并且由于过平滑而丢失单个节点特征，尤其是在网络较深的情况下。这导致特征表示次优，影响模型在动态变化图任务上的性能。为解决此问题，我们提出了基于图选择性状态聚焦注意力网络（GSAN）的神经网络架构，用于图结构数据。GSAN通过多头掩码自注意力（MHMSA）和选择性状态空间建模（S3M）层来克服GNN的局限性。在GSAN中，MHMSA使GSAN能够动态强调关键节点连接，尤其是在演化的图环境中。S3M层使网络能够动态适应变化的节点状态，并在不同上下文中改善节点行为的预测，而无需图结构的先验知识。此外，S3M层增强了对未见结构的泛化能力，并解释了节点状态如何影响链接重要性。凭借这些，GSAN在归纳和转导任务上均有效超越了传统GNN。为了分析GSAN的性能行为，我们在图基准数据集上进行了最先进的对比实验，包括、、网络引文和蛋白质-蛋白质相互作用数据集，结果显示GSAN在F1分数上分别提高了、、和。
引用
@article{arxiv.2410.15849,
title = {Focus Where It Matters: Graph Selective State Focused Attention Networks},
author = {Shikhar Vashistha and Neetesh Kumar},
journal= {arXiv preprint arXiv:2410.15849},
year = {2025}
}