面向无限宽度浅层神经网络稀疏性的对偶证书方法
最优化与控制
2026-03-19 v1 人工智能
摘要
本文研究的是在单位球面上对措施进行 TV 正则化训练的无限宽度浅层 ReLU 神经网络，形式上是一个关于措施的凸优化问题。我们的方法利用 TV 正则化优化问题的对偶理论，为训练问题解的稀疏性提供严格的保证。我们的分析进一步刻画了这种稀疏性在低噪声情形下以及小正则化参数情况下的持久性。我们关键观察到的是，对于 ReLU 激活函数，关联的对偶证书在权重空间中是分段线性的。其线性区域——我们称为对偶区域——由数据通过诱导超平面排列所决定。凭借这种结构，我们证明，在每个对偶区域内，对偶证书最多仅有一个极端值。结果是，任意最小化值的支持是有限的，其基数可仅由数据诱导的超平面排列的几何结构所决定的常数上界。随后，我们进一步检验确保此类稀疏解唯一性的充分条件。最终，在对偶区域边界处的适当非退化条件下，我们证明在低标签噪声和小正则化参数的情况下，训练问题的解仍保持稀疏，且具有相同的 Dirac δ 的个数。此外，这些解的位置和�幅收敛；若位置位于对偶区域的内部，则收敛速率取决于噪声和正则化参数的线性函数。
引用
@article{arxiv.2603.17785,
title = {A Dual Certificate Approach to Sparsity in Infinite-Width Shallow Neural Networks},
author = {Leonardo Del Grande and Christoph Brune and Marcello Carioni},
journal= {arXiv preprint arXiv:2603.17785},
year = {2026}
}