图神经网络在不该用图的时候用了图
机器学习
2024-02-27 v2 人工智能
摘要
图上的预测在社交网络和医学等多个领域起着关键作用。图神经网络（GNNs）已成为图数据学习的主流方法。尽管图结构作为 input 提供给 GNN，在某些情况下忽略它可获得最佳解。虽然 GNN 在此类情况下有能力忽略图结构，但不清楚它们是否会这样做。本工作中，我们展示 GNN 实际上倾向于过拟合给定图结构。即，即便忽略图结构可获得更好解，它们仍使用它。我们分析了 GNN 梯度下降学习的隐式偏置，并证明当真实函数不使用图时，即使有无限数据，GNN 也无法保证学到忽略图的解。我们针对不同图分布考察此现象，发现正则图对此过拟合更具鲁棒性。我们还证明在正则图族中，GNN 用梯度下降学习时保证能外推。最后，基于实证与理论发现，我们在真实数据上展示了如何利用正则图减少图过拟合并提升性能。
引用
@article{arxiv.2309.04332,
title = {Graph Neural Networks Use Graphs When They Shouldn't},
author = {Maya Bechler-Speicher and Ido Amos and Ran Gilad-Bachrach and Amir Globerson},
journal= {arXiv preprint arXiv:2309.04332},
year = {2024}
}