过参数化深度 ReLU 网络上经验风险最小化的泛化性能
机器学习
2023-03-01 v3
摘要
在本文中，我们研究了在过参数化深度 ReLU 网络上实现经验风险最小化（ERM）的全局极小值的泛化性能。利用一种新颖的深度 ReLU 网络深化方案，我们严格证明了在温和条件下，存在完美的全局极小值，可为众多类型的数据实现近乎最优的泛化误差界。由于过参数化对于保证深度 ReLU 网络上 ERM 的全局极小值能被广泛使用的随机梯度下降（SGD）算法实现至关重要，我们的结果实际上填补了优化与泛化之间的鸿沟。
引用
@article{arxiv.2111.14039,
title = {Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets},
author = {Shao-Bo Lin and Yao Wang and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:2111.14039},
year = {2023}
}
备注
15 pages, 3 figures