ReLU网络的最优集合与解路径
机器学习
2024-01-22 v2
摘要
我们开发了一个分析框架，通过将非凸训练问题重新表述为凸规划来刻画最优ReLU神经网络集合。我们证明了该凸参数化下的全局最优解由一个多面体集合给出，并将此刻画推广到非凸训练目标的最优集合。由于ReLU训练问题的所有驻点均可表示为子采样凸规划的最优解，我们的工作为非凸目标的所有临界点提供了通用表达式。随后我们利用所得结果为计算极小网络提供了一种最优剪枝算法，建立了ReLU网络正则化路径连续的条件，并给出了极小ReLU网络的敏感性结果。
引用
@article{arxiv.2306.00119,
title = {Optimal Sets and Solution Paths of ReLU Networks},
author = {Aaron Mishkin and Mert Pilanci},
journal= {arXiv preprint arXiv:2306.00119},
year = {2024}
}
备注
Minor updates and corrections to clarify the role of merge/split symmetries in formation of ReLU optimal set and add missing sufficient conditions for all minimal models to have the same cardinality