VecFormer：基于图标记注意力的高效通用图变换器
机器学习
2026-02-24 v1 人工智能
摘要
图变换器在图表示学习领域展现出惊人的能力。然而，现有方法面临两个关键挑战：（1）大多数模型计算复杂度呈指数级增长，难以扩展到大型图；（2）基于节点级操作的注意力机制限制了模型的灵活性，在分布外（out-of-distribution, OOD）场景中表现差。为解决这些问题，我们提出VecFormer（Vector Quantized Graph Transformer），即面向节点分类的高效且高度通用的模型，尤其适用于OOD情境。VecFormer采用两阶段训练范式。在第一阶段，使用两个codebook分别重构节点特征和图结构，以学习丰富的语义Graph Codes。在第二阶段，基于转换后的互codebook，在Graph Token级别上执行注意力机制，既降低了计算复杂度，又提升了模型的泛化能力。广泛的实验表明，VecFormer在各种规模数据集上在性能和速度上均优于现有的图变换器。
引用
@article{arxiv.2602.19622,
title = {VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention},
author = {Jingbo Zhou and Jun Xia and Siyuan Li and Yunfan Liu and Wenjun Wang and Yufei Huang and Changxi Chi and Mutian Hong and Zhuoli Ouyang and Shu Wang and Zhongqi Wang and Xingyu Wu and Chang Yu and Stan Z. Li},
journal= {arXiv preprint arXiv:2602.19622},
year = {2026}
}