ReLU 神经网络的凸松弛在多项式时间内逼近全局最优
机器学习
2024-07-15 v3 最优化与控制
摘要
在本文中，我们研究了带权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性间隙。我们证明，当训练数据是随机时，原始问题与其松弛之间的相对最优性间隙可以被一个 O(log n^0.5) 因子界定，其中 n 是训练样本的数量。一个简单的应用可得到一个易于处理的多项式时间算法，该算法保证能在对数因子范围内求解原始的非凸问题。此外，在温和的假设下，我们证明局部梯度方法以高概率收敛到具有低训练损失的点。我们的结果与现有结果相比是指数级的改进，并为理解局部梯度方法为何表现良好提供了新的视角。
引用
@article{arxiv.2402.03625,
title = {Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time},
author = {Sungyoon Kim and Mert Pilanci},
journal= {arXiv preprint arXiv:2402.03625},
year = {2024}
}
备注
Version 2: Fixed proof of Thm 4.4, slight clarification on assumption 2 Version 3: Modified to ICML style and slight clarification on assumption 1