从特征建模：过参数化深度神经网络的均值场框架
机器学习
2020-07-06 v1 机器学习
最优化与控制
摘要
本文为过参数化深度神经网络 (DNN) 提出一个新的均值场框架，可用于分析神经网络训练。在此框架中，DNN 在连续极限下由其特征（即隐藏单元在训练数据上的函数值）上的概率测度和函数表示，而非像大多数现有研究那样由神经网络参数表示。这种新的表示克服了所有隐藏单元在每一中间层实质上只有一个有意义的隐藏单元的退化情况，并进一步导出了 DNN 的更简单表示，通过合适的重参数化，其训练目标可被重构为一个凸优化问题。此外，我们构建了一个称为神经特征流的非线性动力学，它刻画了由梯度下降训练的过参数化 DNN 的演化。我们通过标准 DNN 和残差网络 (Res-Net) 架构阐释了该框架。进一步地，我们证明，对于 Res-Net，当神经特征流过程收敛时，它在适当条件下达到全局最小解。我们的分析首次证明了在均值场机制下超过 3 层的过参数化神经网络训练的全局收敛性。
引用
@article{arxiv.2007.01452,
title = {Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks},
author = {Cong Fang and Jason D. Lee and Pengkun Yang and Tong Zhang},
journal= {arXiv preprint arXiv:2007.01452},
year = {2020}
}