在几乎所有浅层解析神经网络优化景观中，高效最小化器具有强凸邻域
机器学习
2025-04-15 v1 概率论
机器学习
摘要
局部最小值是否具有强凸邻域，极大影响了优化器的渐近收敛率。在本文中，我们严格分析了当浅层单隐藏层神经网络以解析激活函数应用于回归问题时，由均方误差引起的优化景观中，这一属性的普遍性。参数空间被划分为两个领域：'高效领域'（所有参数中，相应的实现函数无法由具有更少神经元的网络生成的参数）和'redundant 领域'（其余参数）。在高效领域上的几乎所有回归问题的优化景观仅包含强凸的局部最小值。形式上，我们将证明对于某些随机选取的回归问题，优化景观在高效领域上几乎必然为 Morse 函数。在 redundant 领域上，维度显著小于高效领域，且该领域上的潜在局部最小值永远不会是孤立的。
引用
@article{arxiv.2504.08867,
title = {In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods},
author = {Felix Benning and Steffen Dereich},
journal= {arXiv preprint arXiv:2504.08867},
year = {2025}
}