理解单隐层ReLU网络的全局损失景观，第一部分：理论
机器学习
2020-06-18 v2 机器学习
摘要
对于单隐层ReLU网络，我们证明所有可微局部极小在可微区域内部均为全局极小。我们给出了可微局部极小的位置与损失，并表明这些局部极小可以是孤立点或连续超平面，这取决于数据、隐藏神经元激活模式与网络规模之间的相互作用。此外，我们给出了鞍点以及不可微局部极小存在的充要条件，以及它们存在时的位置。
引用
@article{arxiv.2002.04763,
title = {Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory},
author = {Bo Liu},
journal= {arXiv preprint arXiv:2002.04763},
year = {2020}
}