图神经网络小批量训练的隐式正则化
机器学习
2026-05-22 v1 人工智能
摘要
图神经网络（GNN）的小批量训练与i.i.d.数据的训练根本不同：对子图的抽样会改变拓扑结构并引入边界效应，导致 prior 工作开发了结构感知抽样器以保留局部连通性并减少嵌�方差。令人惊讶的是，我们证明最简单的方案——随机节点抽样（RNS），即对均匀抽样节点的诱导子图进行训练——在8个数据集中以更少的运行时间和内存占用匹配或优于完整图训练。为解释此现象，我们对图小批量随机梯度下降（SGD）应用逆向误差分析，显示其隐式最小化采样损失加上与小批量梯度方差成正比的正则化项，而该方差直接受抽样器影响。虽然RNS丢弃了局部结构，但它产生的小批量的预期损失更接近完整图损失，且每批梯度的方差更小，从而实现更好的隐式目标。我们的分析将图抽样器的选择重新定义为一种隐式正则化形式，并确定RNS作为可扩展GNN训练的强大、在理论上有据可循的方法。
引用
@article{arxiv.2605.22480,
title = {Implicit Regularization of Mini-Batch Training in Graph Neural Networks},
author = {Clement Wang and Antoine Vialle and Robin Vaysse and Thomas Bonald},
journal= {arXiv preprint arXiv:2605.22480},
year = {2026}
}