中文

WL 遇见 VC

机器学习 2023-05-31 v3 离散数学 数据结构与算法 神经与进化计算 机器学习

摘要

近来,许多工作通过将图神经网络(GNNs)的表达力与一维 Weisfeiler--Leman 算法(1-WL1\text{-}\mathsf{WL})相联系来研究其表达力。此处 1-WL1\text{-}\mathsf{WL} 是一个被充分研究的图同构问题启发式算法,它迭代地对图顶点集进行着色或划分。尽管这一联系在理解和增强 GNNs 表达力方面带来了显著进展,它并未提供对其泛化性能的洞察,即其在训练集之外作出有意义预测的能力。本文中,我们通过 Vapnik--Chervonenkis(VC)维理论的视角,在两种设定下研究 GNNs 的泛化能力,聚焦于图级预测。首先,当图的阶无已知上界时,我们证明 GNNs 权重的比特长度紧密界定其 VC 维。进一步,我们利用 1-WL1\text{-}\mathsf{WL} 产生的颜色数推导了 GNNs 的 VC 维上界。其次,当图的阶有已知上界时,我们展示了 1-WL1\text{-}\mathsf{WL} 可区分的图的数量与 GNNs 的 VC 维之间的紧密联系。我们的实证研究证实了理论发现的有效性。

关键词

引用

@article{arxiv.2301.11039,
  title  = {WL meet VC},
  author = {Christopher Morris and Floris Geerts and Jan Tönshoff and Martin Grohe},
  journal= {arXiv preprint arXiv:2301.11039},
  year   = {2023}
}

备注

Accepted at ICML 2023. arXiv admin note: text overlap with arXiv:2206.11168