建模数据结构对神经网络学习的影响：隐流形模型
机器学习
2020-12-04 v4 无序系统与神经网络
统计力学
机器学习
摘要
理解使用基于随机梯度的方法训练的深度神经网络成功的原因，是深度学习新兴理论的一个关键开放问题。这些网络最为成功的数据类型，如图像或语音序列，具有复杂的关联性。然而，大多数关于神经网络的理论工作并未显式建模训练数据，或假设每个数据样本的元素从某个因子化概率分布独立抽取。这些方法因此在构造上忽视了真实世界数据集的关联结构及其对神经网络学习的影响。在此，我们引入一种称为隐流形模型（HMM）的结构化数据集生成模型。其思想是构造位于低维流形上的高维输入，其标签仅依赖于它们在该流形中的位置，类似于生成对抗网络中的单层解码器或生成器。我们证明隐流形模型的学习可解析处理，即证明一个“高斯等价性质”（GEP），并利用 GEP 表明使用单次随机梯度下降训练的两层神经网络的动力学由一组积分微分方程刻画，这些方程追踪网络在所有时刻的性能。这使我们能详细分析神经网络在训练期间如何学习复杂度递增的函数、其性能如何依赖于网络规模，以及如何受学习率或隐流形维数等参数的影响。
引用
@article{arxiv.1909.11500,
title = {Modelling the influence of data structure on learning in neural networks: the hidden manifold model},
author = {Sebastian Goldt and Marc Mézard and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:1909.11500},
year = {2020}
}