在轻度过参数化神经网络中实现小的测试误差
机器学习
2021-04-27 v1 最优化与控制
机器学习
摘要
近期关于过参数化神经网络的理論工作集中于两个方面：优化与泛化。许多同时研究优化与泛化的现有工作基于神经正切核，并需要非常大的宽度。在本文中，我们关注如下问题：对于具有两层轻度过参数化 ReLU 网络的二分类问题，我们能否在多项式时间内找到一个具有小测试误差的点？我们首先证明，带有显式正则化的损失函数景观具有如下性质：所有局部极小值以及某些仅在特定方向上平稳的点均能达到小的测试误差。接着我们证明，对于卷积神经网络，存在一种算法能在多项式时间（关于输入维数与数据点数）内找到这些点之一。此外，我们证明对于全连接神经网络，在对数据分布附加假设的条件下，存在多项式时间算法。
引用
@article{arxiv.2104.11895,
title = {Achieving Small Test Error in Mildly Overparameterized Neural Networks},
author = {Shiyu Liang and Ruoyu Sun and R. Srikant},
journal= {arXiv preprint arXiv:2104.11895},
year = {2021}
}