基于有根子树的图自注意力定制
机器学习
2023-10-10 v1 人工智能
摘要
注意力机制在图学习中取得了显著进展，但仍存在明显局限：局部注意力由于消息传递方案的内在问题，难以捕捉长距离信息；而全局注意力无法反映层次化邻域结构，且未能捕获细粒度的局部信息。本文中，我们提出一种名为子树注意力（STA）的新型多跳图注意力机制，以解决上述问题。STA 将全注意力结构与有根子树无缝桥接，并从理论上证明在极端设置下 STA 逼近全局注意力。通过允许在多跳邻居间直接计算注意力权重，STA 缓解了现有图注意力机制的内在问题。进一步，我们通过采用核化 softmax 为 STA 设计了一种高效形式，从而获得线性时间复杂度。我们最终的 GNN 架构 STAGNN 提出了一种简单而高性能的基于 STA 的图神经网络，利用跳数感知注意力策略。在十个节点分类数据集上的综合评估表明，基于 STA 的模型优于现有的图 Transformer 和主流 GNN。代码见 https://github.com/LUMIA-Group/SubTree-Attention。
引用
@article{arxiv.2310.05296,
title = {Tailoring Self-Attention for Graph via Rooted Subtrees},
author = {Siyuan Huang and Yunchong Song and Jiayue Zhou and Zhouhan Lin},
journal= {arXiv preprint arXiv:2310.05296},
year = {2023}
}
备注
Accepted at NeurIPS 2023. 23 pages in total with the appendix