普通Transformer意外成为强大的链接预测器
机器学习
2026-02-03 v1 人工智能
摘要
链接预测是图机器学习中的核心挑战，要求模型捕捉丰富且复杂的拓扑依赖关系。虽然图神经网络（GNN）是标准解决方案，但最先进的管道常依赖显式的结构启发式或占用大量内存的节点嵌入——这些方法在泛化或扩展到大规模图方面存在困难。新兴的图Transformer（GT）提供了潜在的替代方案，但由于复杂的结构编码，往往计算开销较大，限制了其在大规模链接预测中的应用。我们以PENCIL（Plain Transformer for link prediction）为例，挑战了这些复杂范式。PENCIL是一种仅包含编码器的普通Transformer，通过注意力机制对采样的局部子图进行处理，取代手工制作的先验，保留了标准Transformer的可扩展性和硬件效率。通过实验和理论分析，我们展示PENCIL提取的结构信号比GNN更丰富，隐式地泛化了广泛的启发式和子图基于的表达能力。实验上，PENCIL在不使用节点特征的情况下，也超过了基于启发式的GNN，并在参数效率上远高于基于ID嵌入的替代方案，同时在多样化的基准测试中保持竞争力。我们的结果挑战了对复杂工程技术的依赖，表明简单设计选择就足以实现相同的能力。
引用
@article{arxiv.2602.01553,
title = {Plain Transformers are Surprisingly Powerful Link Predictors},
author = {Quang Truong and Yu Song and Donald Loveland and Mingxuan Ju and Tong Zhao and Neil Shah and Jiliang Tang},
journal= {arXiv preprint arXiv:2602.01553},
year = {2026}
}