全图 vs. 小批次训练：从批量大小和出口大小视角的全面分析
机器学习
2026-05-19 v3
摘要
全图和小批次图神经网络（GNN）训练方法具有不同的系统设计需求，选择合适的方法至关重要。将这两种 GNN 训练方法进行比较的核心挑战在于刻画它们的模型性能（即收敛性和泛化性）和计算效率。虽然批量大小一直是分析此类行为的有效视角（在深度神经网络 DNN 中），但 GNN 通过引入出口大小将这一视角扩展开来：全图训练可视为批量大小和出口大小均为最大可能值的小批次训练。然而，批量大小和出口大小对 GNN 的影响仍未得到充分探索。为此，本文从批量大小和出口大小的视角，对 GNN 的全图与小批次训练进行系统性比较，包括经验分析和理论分析。我们的关键贡献包括：1）我们提出一种新型的泛化分析，利用 Wasserstein 距离研究图结构（尤其是出口大小）的影响；2）我们揭示了批量大小和出口大小在 GNN 收敛和泛化中的非各向同性效应，为资源受限下的调参提供了实用指导。最终，全图训练并不总是比经过良好调参的较小小批次设置在模型性能或计算效率上更优。实现代码已公开：https://github.com/LIUMENGFAN-gif/GNN_fullgraph_minibatch_training。
关键词
引用
@article{arxiv.2601.22678,
title = {Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective},
author = {Mengfan Liu and Da Zheng and Junwei Su and Chuan Wu},
journal= {arXiv preprint arXiv:2601.22678},
year = {2026}
}