重访《定性刻画神经网络优化问题》
机器学习
2020-12-15 v1 人工智能
摘要
我们重访并扩展了 Goodfellow 等人 (2014) 的实验，他们表明——对于当时最先进的网络——“目标函数在初始化点与训练后权重之间的线性路径上具有简单、近似凸的形状”。我们在 CIFAR-10 和 ImageNet 上的现代网络中未发现这种情况。相反，尽管沿该路径损失大致单调非增，但在接近最优点之前损失始终保持较高。此外，训练点很快通过损失屏障与最优点实现线性分离。我们得出结论：尽管 Goodfellow 等人的发现描述了“相对易于优化”的 MNIST 设定，但在现代设定中行为存在定性差异。
引用
@article{arxiv.2012.06898,
title = {Revisiting "Qualitatively Characterizing Neural Network Optimization Problems"},
author = {Jonathan Frankle},
journal= {arXiv preprint arXiv:2012.06898},
year = {2020}
}
备注
Workshop on Deep Learning and Information Geometry (NeurIPS 2020)