浅层神经网络的景观分析：仿射目标函数临界点的完全分类
机器学习
2022-07-07 v3 数值分析
数值分析
摘要
在本文中，我们分析了具有一个隐藏层以及 ReLU、leaky ReLU 或二次激活的神经网络真实损失的景观。在所有三种情况下，我们针对目标函数为仿射且一维的情形提供了临界点的完全分类。特别地，我们表明不存在局部极大值，并阐明了鞍点的结构。此外，我们证明非全局的局部极小值只能由“死”ReLU 神经元引起。特别地，它们在 leaky ReLU 或二次激活的情形下不会出现。我们的方法具有组合性质，并建立在对其可能出现的不同类型隐藏神经元的细致分析之上。
引用
@article{arxiv.2103.10922,
title = {Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions},
author = {Patrick Cheridito and Arnulf Jentzen and Florian Rossmannek},
journal= {arXiv preprint arXiv:2103.10922},
year = {2022}
}