AnchorGT：面向可扩展图变换器的高效且灵活的注意力架构
机器学习
2024-05-07 v1
摘要
图变换器（GTs）通过克服消息传递图神经网络（GNNs）的局限性，显著推动了图表示学习的发展，展现了有前景的性能和表达能力。然而，GTs 中自注意力机制的二次复杂度限制了其可扩展性，而之前用于解决此问题的方法往往会导致表达力下降或缺乏灵活性。为此，我们提出了 AnchorGT，这是一种具有全局感受野且几乎线性复杂度的 GT 注意力架构，作为灵活的构建模块来提高各种 GT 模型的可扩展性。受基于锚点的 GNNs 启发，我们采用结构上重要的 k-dominating 节点集作为锚点，并设计一种关注单个节点与锚点之间关系的注意力机制，同时保持所有节点的全局感受野。凭借其直观设计，AnchorGT 可轻易替换各种 GT 模型中的注意力模块，这些模型具有不同的网络架构和结构编码，从而在不牺牲性能的情况下降低计算开销。此外，我们在理论上证明，AnchorGT 注意力在表达力上严格优于 Weisfeiler-Lehman 测试，显示出在表示图结构方面的优势。我们在三个最先进的 GT 模型上的实验表明，他们的 AnchorGT 变体在更快且显著更节省内存的情况下能够取得更好的结果。
引用
@article{arxiv.2405.03481,
title = {AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers},
author = {Wenhao Zhu and Guojie Song and Liang Wang and Shaoguo Liu},
journal= {arXiv preprint arXiv:2405.03481},
year = {2024}
}