ParaFormer：面向图表示学习的广义PageRank图转换器
机器学习
2025-12-17 v1
摘要
图转换器（Graph Transformers, GTs）因其全两两连通特性而成为具有前景的图学习工具，能够有效捕获全局信息。为解决深层图神经网络中的过平滑问题，首次引入全局注意力机制，无需依赖深层图神经网络。然而，通过经验和理论分析，我们验证引入的全局注意力存在严重的过平滑现象，导致节点表示难以区分，因其固有的低通滤波特性。这一效应甚至优于图神经网络中观察到的现象。为缓解此问题，我们提出PageRank转换器（ParaFormer），其包含设计用于模仿深层转换器行为的PageRank增强注意力模块。我们在理论和实验上均证明，ParaFormer通过作为自适应通滤波器来缓解过平滑。实验表明，在规模从数千至数百万节点不等的11个数据集上，ParaFormer在节点分类和图分类任务上均实现持续的性能提升，验证了其有效性。补充材料包括代码和附录，可在 https://github.com/chaohaoyuan/ParaFormer 查看。
引用
@article{arxiv.2512.14619,
title = {ParaFormer: A Generalized PageRank Graph Transformer for Graph Representation Learning},
author = {Chaohao Yuan and Zhenjie Song and Ercan Engin Kuruoglu and Kangfei Zhao and Yang Liu and Deli Zhao and Hong Cheng and Yu Rong},
journal= {arXiv preprint arXiv:2512.14619},
year = {2025}
}
备注
Accepted by WSDM 2026