具有可证明泛化能力的图神经网络快速学习：单层情形
机器学习
2020-06-26 v1 信号处理
最优化与控制
机器学习
摘要
尽管图神经网络（GNNs）近期在从图结构数据中学习方面取得了很大进展，但其泛化能力的理论保证在文献中仍不明确。在本文中，我们针对回归与二分类问题，对具有一个隐藏层的 GNNs 提供了有理论依据的泛化性分析。在假设存在一个零泛化误差的 ground-truth GNN 模型的前提下，GNN 学习的目标是从训练数据中估计该 ground-truth GNN 参数。为实现此目标，我们提出了一种基于张量初始化与加速梯度下降的学习算法。随后我们证明，所提学习算法对回归问题收敛至 ground-truth GNN 模型，对二分类问题收敛至一个充分接近 ground-truth 的模型。此外，对两种情况，所提学习算法的收敛速率均被证明为线性的，且快于朴素梯度下降算法。我们进一步探讨了 GNNs 的样本复杂度与其底层图性质之间的关系。最后，我们提供数值实验以证明我们分析的有效性及所提 GNN 学习算法的有效性。
引用
@article{arxiv.2006.14117,
title = {Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case},
author = {Shuai Zhang and Meng Wang and Sijia Liu and Pin-Yu Chen and Jinjun Xiong},
journal= {arXiv preprint arXiv:2006.14117},
year = {2020}
}