理解单隐层ReLU网络的全局损失景观（第二部分）：实验与分析
机器学习
2020-06-17 v1 机器学习
摘要
[8]中已从理论上研究了单隐层ReLU网络局部极小值的存在性。基于该理论，本文首先分析对于一维高斯数据，存在局部极小值的概览有多大，以及它如何在整个权值空间中变化。我们表明该概率在多数区域非常低。随后我们设计并实现一种基于线性规划的方法来判定真正局部极小值的存在，并用它预测MNIST与CIFAR-10数据集上是否存在坏的局部极小值，发现一旦某些隐神经元被样本激活，在权值空间中几乎处处不存在坏的可微局部极小值。这些理论预测通过实验得到验证：梯度下降不会被困于其起始的单元中。我们还通过实验探究了权值空间中可微单元的数量与大小。
引用
@article{arxiv.2006.09192,
title = {Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis},
author = {Bo Liu},
journal= {arXiv preprint arXiv:2006.09192},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2002.04763