过参数化深度神经网络的凸表述
机器学习
2019-11-19 v1 机器学习
摘要
近年来，过参数化神经网络的分析引起了显著关注。研究表明，在多种受限设定下此类系统表现得如同凸系统，例如针对两层神经网络，以及当学习仅局限于所谓神经正切核空间内围绕特定初始化进行局部限制时。然而，目前尚无理论技术能够分析实践中遇到的完全训练的深度神经网络。本文通过研究此类完全训练的过参数化深度神经网络，解决了这一基础问题。我们将最初由（Fang et al., 2019a）针对两层神经网络引入的称为神经特征重填充的新技术推广至深度神经网络分析。结果表明，在合适表示下，过参数化深度神经网络本质上是凸的，且在优化时系统可在温和条件下学习适用于底层学习任务的有效特征。这一新分析与深度神经网络能够学习高效特征表示的经验观测一致。因此，本文高度出乎意料的结果可令人满意地解释深度神经网络的实际成功。实证研究证实，我们理论的预测与实践中观察到的结果一致。
引用
@article{arxiv.1911.07626,
title = {Convex Formulation of Overparameterized Deep Neural Networks},
author = {Cong Fang and Yihong Gu and Weizhong Zhang and Tong Zhang},
journal= {arXiv preprint arXiv:1911.07626},
year = {2019}
}