NAGphormer：一种用于大图节点分类的令牌化图Transformer
机器学习
2023-02-28 v4 人工智能
摘要
图Transformer作为一种新架构涌现，并在多种图挖掘任务上展现出优越性能。本工作中，我们观察到现有图Transformer将节点视为独立令牌，并构造由所有节点令牌组成的单一长序列来训练Transformer模型，由于自注意力计算对节点数呈二次复杂度，导致难以扩展到大型图。为此，我们提出邻域聚合图Transformer（NAGphormer），将每个节点视为由我们提出的Hop2Token模块构造的一系列令牌组成的序列。对于每个节点，Hop2Token从不同跳数聚合邻域特征为不同表示，从而生成令牌向量序列作为一个输入。以此方式，NAGphormer可以小批量方式训练，从而能够扩展到大型图。此外，我们从数学上表明，与一类先进的图神经网络（GNNs）——解耦图卷积网络相比，NAGphormer能从多跳邻域学到更具信息量的节点表示。我们在从小型到大型的基准数据集上进行了大量实验，证明NAGphormer持续优于现有图Transformer和主流GNNs。代码见 https://github.com/JHL-HUST/NAGphormer。
引用
@article{arxiv.2206.04910,
title = {NAGphormer: A Tokenized Graph Transformer for Node Classification in Large Graphs},
author = {Jinsong Chen and Kaiyuan Gao and Gaichao Li and Kun He},
journal= {arXiv preprint arXiv:2206.04910},
year = {2023}
}
备注
Accepted by ICLR 2023