具有邻域增强的令牌化图 Transformer 用于大图节点分类
机器学习
2023-05-23 v1
摘要
图 Transformer 作为图表示学习的新架构，在处理大图时受限于节点数的二次复杂度。为此，我们提出一种邻域聚合图 Transformer（NAGphormer），将每个节点视为由我们提出的 Hop2Token 模块构建的包含一系列令牌的序列。对于每个节点，Hop2Token 将来自不同跳数的邻域特征聚合为不同表示，生成一串令牌向量作为一个输入。如此，NAGphormer 可以小批量方式训练，从而能扩展到大型图。此外，我们从数学上表明，与一类称为解耦图卷积网络的高级图神经网络（GNNs）相比，NAGphormer 能从多跳邻域学到更具信息量的节点表示。另外，我们基于 Hop2Token 的输出提出一种称为邻域增强（NrAug）的新数据增强方法，同时从全局与局部视角增强邻域特征，以强化 NAGphormer 的训练效果。从小型到大型的基准数据集上的大量实验证明了 NAGphormer 相对于现有图 Transformer 与主流 GNNs 的优越性，以及 NrAug 进一步提振 NAGphormer 的有效性。
引用
@article{arxiv.2305.12677,
title = {Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs},
author = {Jinsong Chen and Chang Liu and Kaiyuan Gao and Gaichao Li and Kun He},
journal= {arXiv preprint arXiv:2305.12677},
year = {2023}
}
备注
14pages, 5 figures. arXiv admin note: text overlap with arXiv:2206.04910