HopFormer：稀疏图变换器与显式感受野控制
机器学习
2026-02-03 v1
摘要
图变换器通常依赖显式位置或结构编码以及密集全局注意力以纳入图结构。在本工作中，我们表明这两种方法都非必需。我们引入 HopFormer，一种图变换器，通过特定头部的 n 跳掩码稀疏注意力注入结构，而无需位置编码或架构修改。该设计提供了对感受野的显式且可解释的控制，同时实现真正稀疏注意力，其计算成本随掩码稀疏性呈线性比例。在节点级和图级基准测试中进行的广泛实验表明，我们的方法在 diverse graph structures 上实现了具竞争力或优越的性能。我们的结果进一步表明，密集全局注意力往往是不必要的：在 small-world 属性强的图上，局部注意力产生更稳定且持续高的性能；而在 small-world 效应较弱的图上，全局注意力的报酬递减。总体而言，这些发现挑战了图变换器设计中的既有假设，凸显稀疏感受野控制注意力作为原则且高效替代方案。
引用
@article{arxiv.2602.02268,
title = {HopFormer: Sparse Graph Transformers with Explicit Receptive Field Control},
author = {Sanggeon Yun and Raheeb Hassan and Ryozo Masukawa and Sungheon Jeong and Mohsen Imani},
journal= {arXiv preprint arXiv:2602.02268},
year = {2026}
}