重新审视深度神经网络中的景观分析：消除通向无穷远的递减路径
机器学习
2020-01-01 v1 机器学习
摘要
深度神经网络的传统景观分析旨在表明在某种适当意义下不存在次优局部极小。由此，人们可能倾向于得出结论：逃离鞍点的下降算法将达到一个好的局部极小。然而，基础优化理论告诉我们，如果存在通向无穷远且损失函数沿其递减的路径，下降算法也可能发散到无穷远。目前尚不清楚对于非线性神经网络，是否存在一种设定能够同时实现无坏局部极小和无通向无穷远的递减路径。在本文中，我们对此问题给出了第一个肯定答案。更具体地说，对于一大类带有适当正则化器的过参数化深度神经网络，损失函数既没有坏局部极小，也没有通向无穷远的递减路径。关键的数学技巧是证明可能不期望的正则化器集合可视为从低维欧氏空间到高维欧氏空间的 Lipschitz 连续映射的像，从而其测度为零。
引用
@article{arxiv.1912.13472,
title = {Revisiting Landscape Analysis in Deep Neural Networks: Eliminating Decreasing Paths to Infinity},
author = {Shiyu Liang and Ruoyu Sun and R. Srikant},
journal= {arXiv preprint arXiv:1912.13472},
year = {2020}
}