Tokenphormer：面向节点分类的结构感知多 token 图变换器
机器学习
2025-04-14 v2
摘要
图神经网络（GNN）在图数据挖掘任务中广泛应用。传统 GNN 遵循消息传递方案，能有效利用局部和结构信息。然而，过平滑和过压抑现象限制了消息传递过程的感受野。图变换器被引入以解决这些问题，实现全局感受野，但 suffer 于无关节点噪声和结构信息的丢失。因此，借鉴自然语言处理（NLP）中细粒度基于 token 的表征学习，我们提出结构感知多 token 图变换器（Tokenphormer），通过生成多个 token 来有效捕获局部和结构信息，并在不同层次粒度上探索全局信息。具体而言，我们首先引入由四种漫步类型混合组成的漫步生成的 walk-token，以灵活地探索图结构并捕获结构和情境信息。为确保局部和全局信息覆盖，我们还引入 SGPM-token（通过自监督图预训练模型 SGPM 获取）和 hop-token，分别扩展了 walk-token的长度和密度限制。最后，将这些富有表现力的 token 输入变换器模型，以实现协同学习节点表征。实验结果表明，所提出的 Tokenphormer 能在节点分类任务上实现最先进（SOTA）性能。
引用
@article{arxiv.2412.15302,
title = {Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification},
author = {Zijie Zhou and Zhaoqi Lu and Xuekai Wei and Rongqin Chen and Shenghui Zhang and Pak Lon Ip and Leong Hou U},
journal= {arXiv preprint arXiv:2412.15302},
year = {2025}
}
备注
Accepted by AAAI 2025