GCN的lp正则化随机学习的稳定性与泛化性

Shiyu Liu; Linsen Wei; Shaogao Lv; Ming Li

GCN的lp正则化随机学习的稳定性与泛化性

机器学习 2023-06-21 v3 机器学习

作者: Shiyu Liu , Linsen Wei , Shaogao Lv , Ming Li

摘要

图卷积网络(GCN)被视为图数据上图神经网络变体中最流行的表示之一,并在实证实验中展现出强大的性能。基于 $\ell_2$ 的图平滑强制了GCN的全局平滑性,而基于(软) $\ell_1$ 的稀疏图学习倾向于促进信号稀疏性以换取不连续性。本文旨在借助所提出的通用 $\ell_p$ 正则化 $(1<p\leq 2)$ 随机学习,量化GCN在平滑性与稀疏性之间的权衡。尽管先前工作已针对二阶导数目标函数给出了基于稳定性的泛化分析,但我们的 $\ell_p$ 正则化学习方案并不满足此类光滑条件。为应对该问题,我们提出了一种带不精确算子的GCN新型SGD近端算法。对于单层GCN,我们通过分析SGD近端算法的稳定性,建立了对带 $\ell_p$ 正则化随机学习的GCN的显式理论理解。我们进行了多项实证实验以验证我们的理论发现。

关键词

图卷积网络 lp正则化随机学习稳定性泛化性 SGD近端算法

引用

@article{arxiv.2305.12085,
  title  = {Stability and Generalization of lp-Regularized Stochastic Learning for GCN},
  author = {Shiyu Liu and Linsen Wei and Shaogao Lv and Ming Li},
  journal= {arXiv preprint arXiv:2305.12085},
  year   = {2023}
}

备注

Accepted to IJCAI 2023

GCN的lp正则化随机学习的稳定性与泛化性

摘要

关键词

引用

备注

相关论文