正则化如何影响损失函数的几何

神经网络所学内容从根本上取决于底层损失函数的几何。我们研究不同正则化子如何影响该函数的几何。光滑函数最基本的几何性质之一是其是否为Morse函数。对于非线性深度神经网络，未正则化损失函数 $L$ 通常非Morse。我们考虑若干不同正则化子，包括权重衰减，并研究哪些正则化子使正则化函数 $L_\epsilon$ 变为Morse。