浅层线性神经网络的全局优化几何
机器学习
2018-11-06 v2 机器学习
摘要
我们考察了浅层线性神经网络的 squared error loss（平方误差损失）景观。在比先前工作温和得多的假设下，我们证明相应的优化问题具有良性的几何性质：不存在伪局部极小值，且每个鞍点的 Hessian 矩阵至少有一个负特征值。这意味着在每一个鞍点处都存在方向性负曲率，算法可利用它进一步降低目标值。这些几何性质意味着许多局部搜索算法（例如广泛用于训练神经网络的坐标下降）能够可证明地以全局收敛解决训练问题。
引用
@article{arxiv.1805.04938,
title = {The Global Optimization Geometry of Shallow Linear Neural Networks},
author = {Zhihui Zhu and Daniel Soudry and Yonina C. Eldar and Michael B. Wakin},
journal= {arXiv preprint arXiv:1805.04938},
year = {2018}
}