图转换器理论与实践中的通用洞见
机器学习
2025-11-12 v1
摘要
图转换器（Graph Transformers, GTs）在实际应用中表现出强大的性能，但其注意力机制、位置嵌入（PEs）和表达力的使用方式差异很大。现有的表达结果往往与特定的设计选择紧密相关，且缺乏在大规模数据上的全面实证验证。这导致了理论与实践之间的差距，阻碍了超越特定应用领域的可通用洞见。本文提出了广义距离转换器（Generalized-Distance Transformer, GDT），这是一种使用标准注意力机制并整合了近年来图转换器各种进展的GT架构，并对GDT的表示力进行细致的注意力和PEs分析。通过大量实验，我们识别出在各种应用、任务和模型规模下都能 consistently 表现良好的设计选择，展示了在few-shot迁移设置中无需微调即可获得卓越性能。我们的评估覆盖超过800万个图，约2.7亿个标记，涵盖图像基于目标检测、分子属性预测、代码摘要和超出分布算法推理等多样化领域。我们将理论和实践发现提炼为若干关于有效GT设计、训练和推理的通用洞见。
引用
@article{arxiv.2511.08028,
title = {Generalizable Insights for Graph Transformers in Theory and Practice},
author = {Timo Stoll and Luis Müller and Christopher Morris},
journal= {arXiv preprint arXiv:2511.08028},
year = {2025}
}
备注
Accepted at NeurIPS 2025 as spotlight