不变图网络的收敛性
机器学习
2022-12-23 v3
摘要
尽管图神经网络(GNN)的表达能力和过度平滑等理论性质最近得到了广泛研究,但其收敛性质是一个相对较新的方向。在本文中,我们研究了一种强大的GNN——不变图网络(IGN)在从graphon采样的图上的收敛性。我们首先基于对线性等变层的新解释,证明了通用k-IGN(k阶)线性层的稳定性。在此结果基础上,我们证明了在citet{ruiz2020graphon}模型下k-IGN的收敛性,其中我们可以获取边权重,但收敛误差是针对graphon输入测量的。在更自然(也更具挑战性)的citet{keriven2020convergence}设定下,即只能获取根据边概率采样的0-1邻接矩阵,我们首先展示了一个负面结果,即任何IGN的收敛都是不可能的。然后,我们在边概率估计之后,获得了IGN的一个子集(记为IGN-small)的收敛性。我们证明IGN-small仍然包含足够丰富的函数类,可以任意好地逼近谱GNN。最后,我们在各种graphon模型上进行实验以验证我们的陈述。
引用
@article{arxiv.2201.10129,
title = {Convergence of Invariant Graph Networks},
author = {Chen Cai and Yusu Wang},
journal= {arXiv preprint arXiv:2201.10129},
year = {2022}
}
备注
29 pages, 11 figures