图变换器中全局到局部注意力方案的探索：一个实证研究
机器学习
2026-02-04 v2 人工智能
摘要
图变换器（GTs）在图表示学习中展现出巨大的潜力。GTs 的体系结构通常将图神经网络（GNNs）与全局注意力机制集成，方式要么并行，要么作为注意力机制的前导，形成 local-and-global 或 local-to-global 注意力方案。然而，由于全局注意力机制主要捕获节点之间长程依赖关系，这些集成方案可能导致信息损失，其中由 GNN 学习的局部邻域信息可能被注意力机制稀释。因此，我们提出了 G2LFormer，采用新颖的全局到局部注意力方案，其中浅层网络层使用注意力机制捕获全局信息，而深层网络层采用 GNN 模块学习局部结构信息，从而防止节点忽略其immediate邻居。引入一种有效的跨层信息融合策略，使局部分层能够保留来自全局层的有益信息，缓解信息损失，同时在可接受的可扩展性权衡下实现。为验证全局到局部注意力方案的可行性，我们将 G2LFormer 与最先进的线性 GT 和 GNN 在节点级和图级任务上进行比较。结果表明，G2LFormer 在保持线性复杂度的同时表现出色。
引用
@article{arxiv.2509.14863,
title = {Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study},
author = {Gang Wu and Zhengwei Wang},
journal= {arXiv preprint arXiv:2509.14863},
year = {2026}
}
备注
The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-026-51718-4}