图神经网络在最短路径任务上的分布外外推
机器学习
2025-04-01 v2 数据结构与算法
摘要
神经网络(NN)尽管取得了成功并被广泛采用,但仍然难以进行分布外(OOD)外推,即对训练数据集未能很好表示的输入进行泛化。当模型部署在与训练集显著不同的环境中(例如将在小图上训练的图神经网络(GNN)应用于大规模真实世界图)时,缩小 OOD 泛化差距至关重要。实现鲁棒 OOD 泛化的一种有前景的方法是神经算法对齐框架,它通过设计类似于特定算法范式(例如动态规划)的神经架构来融入经典算法的思想。其希望在于,这种形式的训练模型将具有出色的 OOD 能力,其方式与经典算法适用于所有实例的方式类似。我们严格分析了算法对齐在实现 OOD 泛化中的作用,重点关注应用于经典最短路径问题的图神经网络(GNN)。我们证明,在少量最短路径实例上以稀疏性正则化损失进行训练的 GNN 精确实现了最短路径的 Bellman-Ford(BF)算法。事实上,如果一个 GNN 在 误差范围内最小化该损失,则它以 的误差实现 BF 算法。因此,尽管训练数据有限,这些 GNN 仍被保证可外推到任意最短路径问题,包括任意规模的实例。我们的实证结果支持我们的理论,表明通过梯度下降训练的神经网络能够在实践中最小化该损失并进行外推。
引用
@article{arxiv.2503.19173,
title = {Graph neural networks extrapolate out-of-distribution for shortest paths},
author = {Robert R. Nerem and Samantha Chen and Sanjoy Dasgupta and Yusu Wang},
journal= {arXiv preprint arXiv:2503.19173},
year = {2025}
}