中文

具有普法夫激活函数的图神经网络的VC维

机器学习 2024-04-03 v2 机器学习

摘要

图神经网络(GNNs)近年来已成为一种强大的工具,以数据驱动的方式学习跨广泛图领域的任务;基于消息传递机制,GNNs 因其直观的公式化表述而日益流行,该机制与图同构的 Weisfeiler-Lehman (WL) 检验密切相关,且已被证明与之等价。从理论角度来看,GNNs 已被证明是通用逼近器,并且其泛化能力(即 Vapnik Chervonekis (VC) 维的界)最近已针对具有分段多项式激活函数的 GNNs 进行了研究。我们工作的目标是利用 Pfaffian 函数理论的框架,将这种对 GNNs VC 维的分析扩展到其他常用的激活函数,例如 sigmoid 和双曲正切函数。我们提供了关于架构参数(深度、神经元数量、输入大小)以及关于应用于图域的 1-WL 测试所产生的颜色数量的界限。理论分析得到了初步实验研究的支持。

关键词

引用

@article{arxiv.2401.12362,
  title  = {VC dimension of Graph Neural Networks with Pfaffian activation functions},
  author = {Giuseppe Alessio D'Inverno and Monica Bianchini and Franco Scarselli},
  journal= {arXiv preprint arXiv:2401.12362},
  year   = {2024}
}

备注

35 pages, 9 figures