VCR-Graphormer:一种基于虚拟连接的小批量图 Transformer
机器学习
2024-03-26 v1
摘要
图 Transformer 已被证明是一种有效的图学习方法,因其采用了注意力机制,能够从复杂的拓扑与特征信息中捕获富有表达力的表示。传统的图 Transformer 对每对节点执行稠密注意力(或全局注意力)以学习节点表示向量,导致二次计算复杂度,难以应用于大规模图数据。因此,图 Transformer 的小批量训练是一个颇具前景的方向,但每个小批量中有限的样本难以支撑有效的稠密注意力来编码信息丰富的表示。面对这一瓶颈,(1)我们首先为每个节点分配一个由个性化 PageRank(PPR)采样的 token 列表,然后仅在该列表上应用标准的多头自注意力来计算其节点表示。该 PPR token 化方法将模型训练与复杂的图拓扑信息解耦,并使繁重的特征工程可离线且独立完成,从而能够通过按批量加载每个节点的 token 列表来实现图 Transformer 的小批量训练。我们进一步证明,该 PPR token 化方法可作为一种具有固定多项式滤波器和跳跃知识的图卷积网络。然而,仅使用个性化 PageRank 可能会限制 token 列表所携带的信息,使其无法支持模型训练所需的不同图归纳偏置。为此,(2)我们通过引入多种类型的虚拟连接(基于结构和内容的超级节点)对图进行重连,使 PPR token 化能够将局部与全局上下文、远程交互以及异质信息编码进每个节点的 token 列表中,从而形式化我们的基于虚拟连接排序的图 Transformer(VCR-Graphormer)。
引用
@article{arxiv.2403.16030,
title = {VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections},
author = {Dongqi Fu and Zhigang Hua and Yan Xie and Jin Fang and Si Zhang and Kaan Sancak and Hao Wu and Andrey Malevich and Jingrui He and Bo Long},
journal= {arXiv preprint arXiv:2403.16030},
year = {2024}
}