基于混合焦点与全范围注意力的图 Transformer
机器学习
2024-09-11 v2 人工智能
摘要
采用自注意力机制的 Transformer 范式已在图结构数据学习中展现出优势。然而，图 Transformer 虽能建模全范围依赖，却常不善于从局部提取信息。常见做法是利用消息传递神经网络（MPNNs）作为辅助来捕获局部信息，但这仍不足以理解子结构。本文提出一种纯基于注意力的架构，即焦点与全范围图 Transformer（FFGT），可缓解在学全局关联时的局部信息丢失。FFGT 的核心组件是一种复合注意力新机制，它将传统的全范围注意力与基于 ego-net 的 K-hop 焦点注意力结合，以聚合全局与局部信息。超出标准 Transformer 范畴，FFGT 具有更强的子结构感知优势。我们的方法在多个开放数据集上提升了现有图 Transformer 的性能，同时即便使用朴素 transformer 也在若干长范围图基准（LRGB）数据集上取得可比的 SOTA 性能。我们通过引入基于 SBM-PATTERN 的新合成数据集进一步考察了影响注意力最优焦点长度的因素。
引用
@article{arxiv.2311.04653,
title = {Hybrid Focal and Full-Range Attention Based Graph Transformers},
author = {Minhong Zhu and Zhenhao Zhao and Weiran Cai},
journal= {arXiv preprint arXiv:2311.04653},
year = {2024}
}