图神经网络相对于多层感知机在优化与泛化优势上的量化
机器学习
2025-06-09 v3
摘要
图神经网络（GNNs）在从图结构数据中学习方面展现出卓越能力，在众多基于图的任务中常优于传统的多层感知机（MLPs）。尽管已有工作通过拉普拉斯平滑、表达力或可分离性展示了图卷积的益处，但从优化与泛化视角对 GNNs 与 MLPs 进行比较的定量分析仍然缺乏。本研究旨在通过特征学习理论考察图卷积的作用来填补这一空白。利用信号-噪声数据模型，我们对两层图卷积网络（GCNs）及其 MLP 对应模型之间的优化与泛化进行了比较分析。我们的方法追踪 GNNs 中信号学习与噪声记忆的轨迹，刻画其训练后泛化能力。我们揭示 GNNs 显著优先进行信号学习，从而将低测试误差区间相较 MLPs 提升 倍，其中 表示节点的期望度， 为 ReLU 激活函数的幂且 。这一发现凸显了 GNNs 与 MLPs 在优化与泛化上的实质性定量差异，该结论在我们于合成与真实世界数据集上的实证模拟中进一步得到支持。
引用
@article{arxiv.2306.13926,
title = {Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons},
author = {Wei Huang and Yuan Cao and Haonan Wang and Xin Cao and Taiji Suzuki},
journal= {arXiv preprint arXiv:2306.13926},
year = {2025}
}