深度与非线性在 ResNets 中不产生坏的局部极小
机器学习
2019-07-10 v3 人工智能
机器学习
最优化与控制
摘要
在本文中，我们证明在一种具有任意非线性激活函数的任意深度 ResNets 中，深度与非线性不产生坏的局部极小，其意义在于所有局部极小的值都不差于相应经典机器学习模型的全局最小值，并且通过残差表示保证进一步改善。因此，本文对 Neural Information Processing Systems 2018 会议一篇论文中提出的开放问题给出了肯定回答。本文仅推进了 ResNets 而非其他网络架构的深度学习优化理论。
引用
@article{arxiv.1810.09038,
title = {Depth with Nonlinearity Creates No Bad Local Minima in ResNets},
author = {Kenji Kawaguchi and Yoshua Bengio},
journal= {arXiv preprint arXiv:1810.09038},
year = {2019}
}