一种可扩展且高效的图转换器替代方案
机器学习
2024-06-19 v1 社会与信息网络
摘要
图神经网络（GNN）在图表示学习中展现出惊人的性能，但由于其表达能力有限，面临着捕捉长程依赖关系的挑战。为此，引入了图转换器（Graph Transformers, GTs），利用自注意力机制有效地建模节点之间的两两关系。尽管具有这些优势，GTs 由于与图中节点数成正比的二次复杂度，阻碍了其在大型图上的应用。在本工作中，我们提出了图增强情境算子（Graph-Enhanced Contextual Operator, GECO），这是一种可扩展且高效的GTs替代方案，利用邻域传播和全局卷积在准线性时间内有效捕捉局部和全局依赖关系。我们对合成数据集的研究表明，GECO 在200万节点图上相对于优化注意力机制速度提升了169倍。进一步的评估在多样化的基准测试中展示了GECO能够扩展到大型图，而传统GTs常常在这些场景下面临内存和时间限制。值得注意的是，GECO 在质量上始终实现了与基线相当或更好的效果，通过提升SOTA最高可达4.5%，为大规模图学习提供了可扩展且高效的解决方案。
引用
@article{arxiv.2406.12059,
title = {A Scalable and Effective Alternative to Graph Transformers},
author = {Kaan Sancak and Zhigang Hua and Jin Fang and Yan Xie and Andrey Malevich and Bo Long and Muhammed Fatih Balin and Ümit V. Çatalyürek},
journal= {arXiv preprint arXiv:2406.12059},
year = {2024}
}
备注
Under submission