面向可扩展图学习的层次化 Transformer
机器学习
2023-05-08 v2 人工智能
社会与信息网络
摘要
Graph Transformer（图 Transformer）在机器学习领域正受到越来越多的关注，并在图表示学习基准上展现出最先进的性能。然而，由于当前 Graph Transformer 的实现主要聚焦于小规模图上的表示学习，全局自注意力机制的二次复杂度在应用于更大图时给全批量训练带来了挑战。此外，传统的基于采样的方法无法捕获必要的高层上下文信息，导致性能显著下降。本文中，我们引入层次化可扩展图 Transformer（HSGT）作为应对这些挑战的方案。HSGT 成功将 Transformer 架构扩展到大规模图上的节点表示学习任务，同时保持高性能。通过利用粗化技术构建的图层次结构，HSGT 在不同层次的节点嵌入中高效更新并存储多尺度信息。结合基于采样的训练方法，HSGT 仅使用 Transformer 块便能有效捕获并聚合层次图上的多级信息。实证评估表明，HSGT 在包含数百万节点的图的大规模基准上以高效率达到了最先进的性能。
引用
@article{arxiv.2305.02866,
title = {Hierarchical Transformer for Scalable Graph Learning},
author = {Wenhao Zhu and Tianyu Wen and Guojie Song and Xiaojun Ma and Liang Wang},
journal= {arXiv preprint arXiv:2305.02866},
year = {2023}
}
备注
11 pages; 3 figures