通过凸对偶探索正则化神经网络的损失景观

我们讨论正则化神经网络损失景观的若干方面：驻点结构、最优解的连通性、通往任意全局最优的损失不增路径、最优解的非唯一性，方法是将问题转化为等价的凸问题并考虑其对偶。从标量输出的两层神经网络出发，我们首先利用对偶刻画凸问题的解集，进而刻画所有驻点。借助该刻画，我们展示了全局最优的拓扑结构随网络宽度变化而经历相变，并构造了存在最优解连续体的反例。最后，我们证明了解集刻画和连通性结果可推广至不同架构，包括向量值的两层神经网络和并行三层神经网络。