面向图神经网络的增强模型汤
机器学习
2025-03-17 v1
摘要
图神经网络（GNN）在众多科学和高性能计算（HPC）应用中展现出了最先进的性能。近期工作表明，将单独训练的 GNN“熬汤”（合并）为单一模型可以在不增加推理期间计算和内存开销的情况下提升性能。然而，现有的“熬汤”算法通常速度慢且内存消耗大，这限制了它们的可扩展性。我们提出了面向 GNN 的 Learned Souping，这是一种基于梯度下降的“熬汤”策略，与现有方法相比，它显著降低了时间和内存开销。我们的方法在多个 Open Graph Benchmark（OGB）数据集和 GNN 架构上进行了评估，实现了高达 1.2% 的准确率提升和 2.1 倍的加速。此外，我们提出了 Partition Learned Souping，这是 Learned Souping 的一种基于分区的新颖变体，可显著降低内存使用量。在基于 GraphSAGE 的 ogbn-products 数据集上，Partition Learned Souping 在不牺牲准确率的情况下实现了 24.5 倍的加速和 76% 的内存减少。
引用
@article{arxiv.2503.11612,
title = {Enhanced Soups for Graph Neural Networks},
author = {Joseph Zuber and Aishwarya Sarkar and Joseph Jennings and Ali Jannesari},
journal= {arXiv preprint arXiv:2503.11612},
year = {2025}
}
备注
10 pages, 4 figures, 3 tables, accepted to GrAPL 2025 (colocated with IPDPS 2025)