神经网络的临界点：解析形式与景观性质
机器学习
2017-11-01 v1 机器学习
摘要
由于深度学习在解决各类具有挑战性的机器学习任务上取得成功，从理论层面理解神经网络训练损失函数的兴趣日益增加。特别是，临界点的性质及其周边景观对确定优化算法的收敛性能至关重要。本文中，我们针对多种神经网络的平方损失函数，给出了临界点（以及全局极小点）解析形式的完整（必要且充分）刻画。我们表明，临界点的解析形式刻画了相应损失函数的值以及达到全局极小所需的必要充分条件。此外，我们利用临界点的解析形式刻画了这些神经网络损失函数的景观性质。一个具体结论是：线性网络的损失函数没有伪局部极小，而具有 ReLU 激活函数的单隐层非线性网络的损失函数确实存在非全局极小的局部极小。
引用
@article{arxiv.1710.11205,
title = {Critical Points of Neural Networks: Analytical Forms and Landscape Properties},
author = {Yi Zhou and Yingbin Liang},
journal= {arXiv preprint arXiv:1710.11205},
year = {2017}
}