神经网络的分段强凸性

我们研究带有 ReLU 非线性、并以权重衰减正则化的前馈神经网络的损失曲面。我们证明正则化损失函数在一个重要的开集上分段强凸，该开集在某些条件下包含所有全局极小元。由此我们证明该集合中正则化损失函数的局部极小是孤立的，且该集合中每个可微临界点都是局部极小，部分解决了 2015 年学习理论会议（COLT）提出的一个开放问题；我们的结果也应用于线性神经网络，表明在权重衰减正则化下，在获得低于给定阈值的训练误差的范数球内不存在非零临界点。我们还包含一个实验部分，在其中我们验证了理论工作，并表明对于三个标准图像分类问题，当限制于随机梯度下降轨迹时，正则化损失函数几乎总是分段强凸的。