基于卷积位置编码的图转换器大小可迁移性研究
机器学习
2026-05-29 v2
摘要
Transformer 在多个领域取得了显著成功，推动了图转换器 (GT) 作为用于图结构数据的注意力架构的兴起。GTs 的关键设计选择是使用基于图神经网络 (GNN) 的位置编码来整合结构信息。本文通过图序列的流形极限模型视角来研究 GTs，并在理论上建立了 GTs 与流形神经网络 (MNN) 之间的联系。基于 GNNs 在流形收敛下可迁移性结果，证明 GTs 继承了其位置编码的可迁移性保证。特别是，在适度假设下，训练于小图的 GTs 可 provably 普遍化到更大的图上。我们用大量实验补充理论，在标准图基准上显示 GTs 的可扩展行为与 GNNs 持平。为进一步展示大规模情境下的效率，我们实现 GTs 用于地形的最短路径距离估计，以更好地说明可迁移 GTs 的效率。我们的结果为理解 GTs 提供了新见解，并为在大规模设置下高效训练 GTs 提出了实用方向。
引用
@article{arxiv.2602.15239,
title = {Size Transferability of Graph Transformers with Convolutional Positional Encodings},
author = {Javier Porras-Valenzuela and Zhiyang Wang and Xiaotao Shang and Yusu Wang and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2602.15239},
year = {2026}
}