过参数化单隐藏层 ReLU 网络 Lipschitz 损失景观的渐近平滑化

Saveliy Baturin

过参数化单隐藏层 ReLU 网络 Lipschitz 损失景观的渐近平滑化

机器学习 2026-02-20 v1

作者: Saveliy Baturin

摘要

我们研究了在过参数化条件下，单隐藏层 ReLU 网络损失景观的拓扑结构。在理论侧，我们（i）证明了对于具有凸 $L$ -Lipschitz 损失且具有 $\ell_1$ 正则化第二层的网络，在给定损失水平上的任意两个模型，可以通过一个损失增加量为 $\epsilon$ 的连续路径相连（扩展了已知的二次损失结果）；（ii）获得渐近上界，对局部最小值与全局最小值之间的能隙 $\epsilon$ 给出上界，随着宽度 $m$ 的增大而消失，表明景观在极限下趋于平坦且子水平集连通。在实验上，我们在合成的 Moons 数据集和威斯康星乳腺癌数据集上，通过动态字符串抽样(DSS)测量两两能隙，发现更宽的网络具有更小的能隙；特别是，对最大能隙的置换检验结果显示 $p_{perm}=0$ ，表明垫子高度明显降低。

关键词

损失景观过参数化 ReLU 网络 Lipschitz 损失渐近平滑化能隙全局最小值局部最小值

引用

@article{arxiv.2602.17596,
  title  = {Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks},
  author = {Saveliy Baturin},
  journal= {arXiv preprint arXiv:2602.17596},
  year   = {2026}
}

过参数化单隐藏层 ReLU 网络 Lipschitz 损失景观的渐近平滑化

摘要

关键词

引用

相关论文