具有一般激活函数神经网络的损失曲面

近年来，深度神经网络的损失曲面已成为若干理论与实验研究的主题。其中一类工作考虑高维随机函数的复杂性（就局部极值而言），旨在说明局部优化方法在此类复杂设定中可能的表现。Choromanska 等人（2015）的先前工作在针对网络及其数据的极强假设下，建立了深度多层感知机网络训练损失曲面与球状多自旋玻璃模型之间的直接联系。在本工作中，我们通过去除对 ReLU 激活函数的不当限制来检验该方法的有效性。在此过程中，我们使用随机矩阵理论中的超对称方法开辟了自旋玻璃复杂性计算的新路径，这可能在其他情境中有用。我们的结果揭示了自旋玻璃模型在此背景下的优势与局限。