DHIL-GT：解耦层次标签的可扩展图变换器
机器学习
2024-12-09 v1
摘要
图变换器（Graph Transformer, GT）最近涌现为一种学习图结构数据具有前景的神经网络架构。然而，其全局注意力机制与图规模呈二次复杂度，阻碍了其在大型图上广泛应用。虽然当前方法试图通过改变模型架构或编码层次图数据来增强GT的可扩展性，但我们的分析表明，这些模型仍因与图规模相关的计算瓶颈而受限。本文针对GT的可扩展性问题，提出了DHIL-GT，这是一种可扩展图变换器，通过将图计算完全解耦到预先分离的阶段来简化网络学习。DHIL-GT通过利用图标记技术来检索层次信息，我们展示了图标记层次结构比纯邻接图更具信息量，因其在提供全局连接同时促进局部性，特别适用于处理复杂图模式，如异质性。我们进一步设计了子图采样和位置编码方案，以在图标记之上进行端到端的预计算模型输入。训练阶段因此能够有效地消除与图相关的计算，实现理想的 mini-batch 能力和 GPU 利用率。值得注意的是，DHIL-GT的预计算和训练过程分别具有相对于图边数和节点数量的线性复杂度。广泛的实验表明，在大规模基准测试上，DHIL-GT在计算加速和 mini-batch 能力方面显著优于现有的可扩展图变换器设计，同时在 homophilous 和 heterophilous 图上实现顶级性能。
引用
@article{arxiv.2412.04738,
title = {DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling},
author = {Ningyi Liao and Zihao Yu and Siqiang Luo},
journal= {arXiv preprint arXiv:2412.04738},
year = {2024}
}