生成模型在浅层神经网络学习中的高斯等价性
机器学习
2022-05-23 v3 无序系统与神经网络
统计力学
机器学习
摘要
理解数据结构对神经网络计算可处理性的影响是神经网络理论的一项关键挑战。许多理论工作未显式建模训练数据，或假设输入按分量独立地从某些简单概率分布中抽取。在此，我们超越这一简单范式，研究在从预训练生成模型抽取的数据上训练的神经网络性能。这得益于一个高斯等价性，即感兴趣的关健度量（如训练与测试误差）可被恰当选择的高斯模型完全捕获。我们提供了证实该等价性的三条严谨、解析与数值证据线。首先，我们为单层生成模型情形建立了高斯等价性成立的严谨条件，以及分布收敛的确定性速率。其次，我们利用该等价性导出描述两个广泛研究的机器学习问题泛化性能的封闭方程组：使用一遍随机梯度下降训练的两层神经网络，以及全批量预学习特征或核方法。最后，我们开展实验展示我们的理论如何应用于深层预训练生成模型。这些结果为具有真实数据的机器学习模型的理论研究开辟了可行路径。
引用
@article{arxiv.2006.14709,
title = {The Gaussian equivalence of generative models for learning with shallow neural networks},
author = {Sebastian Goldt and Bruno Loureiro and Galen Reeves and Florent Krzakala and Marc Mézard and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2006.14709},
year = {2022}
}
备注
The accompanying code for this paper is available at https://github.com/sgoldt/gaussian-equiv-2layer