基于影响力的图神经网络小批量构建方法
机器学习
2022-12-20 v1 人工智能
社会与信息网络
机器学习
摘要
将图神经网络用于大型图具有挑战性，因为缺乏清晰的小批量构建方法。为解决此问题，先前的方法依赖于采样或图聚类。虽然这些方法通常能带来良好的训练收敛性，但由于昂贵的随机数据访问，它们引入了显著的开销，并且在推理时表现不佳。在这项工作中，我们转而关注推理过程中的模型行为。我们通过最大化节点对输出的影响力得分，从理论上对小批量构建进行建模。当我们不了解已训练模型时，这种形式化方法能导致输出的最优近似。我们将由此产生的方法称为基于影响力的小批量构建（influence-based mini-batching, IBMB）。与达到相似精度的先前方法相比，IBMB将推理速度提升了高达130倍。值得注意的是，通过自适应优化和正确的训练调度，得益于预计算的小批量和连续的内存访问，IBMB也能显著加速训练。与先前方法相比，这使得每轮训练速度提升高达18倍，每次运行时间的收敛速度提升高达17倍。
引用
@article{arxiv.2212.09083,
title = {Influence-Based Mini-Batching for Graph Neural Networks},
author = {Johannes Gasteiger and Chendi Qian and Stephan Günnemann},
journal= {arXiv preprint arXiv:2212.09083},
year = {2022}
}
备注
Published as a proceedings paper at LoG 2022