通过消息不变性实现准确且可扩展的图神经网络
机器学习
2025-02-28 v1 人工智能
摘要
基于消息传递的图神经网络(GNN)在众多实际应用中取得了很大成功。对于目标节点的采样小批量，消息传递过程分为两个部分：小批量节点间的消息传递(MP-IB)和来自小批量外部节点的消息传递(MP-OB)。然而，MP-OB递归依赖更高阶的外部邻居，导致计算成本随层数指数增长。由于邻居爆炸问题，整个消息传递在GPU上存储大多数节点和边，使得大规模图的GNN难以实现。为此提出一种准确且快速的大规模图 transductive 学习小批量方法，称为拓扑补偿(TOP)，通过MP-IB即可获得整个消息传递的输出，而无需代价高昂的MP-OB。TOP的核心是一种新概念——消息不变性，通过定义消息不变变换将代价高昂的MP-OB转换为快速的MP-IB。这确保了修改后的MP-IB与整个消息传递具有相同输出。实验表明，在拥有数百万节点和数十亿边的大规模图上，TOP相较于现有小批量方法快一个数量级，且精度损失有限。
引用
@article{arxiv.2502.19693,
title = {Accurate and Scalable Graph Neural Networks via Message Invariance},
author = {Zhihao Shi and Jie Wang and Zhiwei Zhuang and Xize Liang and Bin Li and Feng Wu},
journal= {arXiv preprint arXiv:2502.19693},
year = {2025}
}