WL 遇见 VC
机器学习
2023-05-31 v3 离散数学
数据结构与算法
神经与进化计算
机器学习
摘要
近来,许多工作通过将图神经网络(GNNs)的表达力与一维 Weisfeiler--Leman 算法()相联系来研究其表达力。此处 是一个被充分研究的图同构问题启发式算法,它迭代地对图顶点集进行着色或划分。尽管这一联系在理解和增强 GNNs 表达力方面带来了显著进展,它并未提供对其泛化性能的洞察,即其在训练集之外作出有意义预测的能力。本文中,我们通过 Vapnik--Chervonenkis(VC)维理论的视角,在两种设定下研究 GNNs 的泛化能力,聚焦于图级预测。首先,当图的阶无已知上界时,我们证明 GNNs 权重的比特长度紧密界定其 VC 维。进一步,我们利用 产生的颜色数推导了 GNNs 的 VC 维上界。其次,当图的阶有已知上界时,我们展示了 可区分的图的数量与 GNNs 的 VC 维之间的紧密联系。我们的实证研究证实了理论发现的有效性。
引用
@article{arxiv.2301.11039,
title = {WL meet VC},
author = {Christopher Morris and Floris Geerts and Jan Tönshoff and Martin Grohe},
journal= {arXiv preprint arXiv:2301.11039},
year = {2023}
}
备注
Accepted at ICML 2023. arXiv admin note: text overlap with arXiv:2206.11168