LMC：通过具有可证明收敛性的子图采样快速训练 GNN
机器学习
2025-03-18 v4
摘要
基于消息传递的图神经网络（GNNs）在许多真实世界应用中取得了巨大成功。然而，在大规模图上训练 GNN 受到众所周知的邻居爆炸问题的困扰，即节点依赖随消息传递层数呈指数增长。子图采样方法——一类有前景的小批量训练技术——在反向传播中丢弃小批量之外的消息，以避免邻居爆炸问题，但代价是梯度估计精度。这对其收敛性分析和收敛速度提出了重大挑战，严重限制了其可靠的真实世界应用。为应对该挑战，我们提出一种具有收敛保证的新型子图采样方法，即局部消息补偿（LMC）。据我们所知，LMC 是首个具有可证明收敛性的子图采样方法。LMC 的关键思想是基于反向传递的消息传递公式，在反向传递中检索被丢弃的消息。通过对前向和反向传递中被丢弃消息的高效且有效的补偿，LMC 计算出准确的小批量梯度，从而加速收敛。我们进一步证明 LMC 收敛到 GNN 的一阶驻点。在大规模基准任务上的实验表明，LMC 在效率上显著优于最先进的子图采样方法。
引用
@article{arxiv.2302.00924,
title = {LMC: Fast Training of GNNs via Subgraph Sampling with Provable Convergence},
author = {Zhihao Shi and Xize Liang and Jie Wang},
journal= {arXiv preprint arXiv:2302.00924},
year = {2025}
}