神经网络能量景观中实质上无壁垒
机器学习
2019-02-25 v5 人工智能
机器学习
摘要
训练神经网络涉及寻找高维非凸损失函数的极小值。关于该能量景观结构的认知尚很匮乏。从线性插值放松出发，我们构建了 CIFAR10 与 CIFAR100 上近期神经网络架构的极小值之间的连续路径。令人惊讶的是，这些路径在训练与测试景观中均实质上是平坦的。这意味着神经网络具有足够容量容纳结构变化，或者这些变化在极小值之间很小。此外，除源于平凡不变性的那些之外，每个极小值至少还有一个消失的 Hessian 特征值。
引用
@article{arxiv.1803.00885,
title = {Essentially No Barriers in Neural Network Energy Landscape},
author = {Felix Draxler and Kambis Veschgini and Manfred Salmhofer and Fred A. Hamprecht},
journal= {arXiv preprint arXiv:1803.00885},
year = {2019}
}
备注
In Proceedings of 35th International Conference on Machine Learning (ICML 2018)