神经网络梯度主导性与正则性条件的刻画
机器学习
2017-10-23 v2 机器学习
最优化与控制
摘要
过去十年见证了深度学习在解决机器学习和人工智能中许多挑战性问题上的成功应用。然而，深度神经网络（尤其是非线性网络）的损失函数在理论方面仍远未被充分理解。本文丰富了对三类神经网络平方损失函数景观的当前理解。具体而言，当参数矩阵为方阵时，我们为线性网络、线性残差网络和具有一个隐藏层的非线性网络提供了全局极小值的显式刻画。然后，我们为这些神经网络的平方损失建立了两种二次型景观性质，即在其满秩全局极小值邻域内的梯度主导性条件，以及沿特定方向并在其全局极小值邻域内的正则性条件。这两种景观性质对于这些神经网络损失函数在全局极小值附近的优化是可取的。
引用
@article{arxiv.1710.06910,
title = {Characterization of Gradient Dominance and Regularity Conditions for Neural Networks},
author = {Yi Zhou and Yingbin Liang},
journal= {arXiv preprint arXiv:1710.06910},
year = {2017}
}