关于深度学习中的连通子水平集
机器学习
2019-05-15 v2 机器学习
摘要
本文表明，一类具有分段线性激活函数的深度过参数化神经网络的损失函数的每个子水平集都是连通且无界的。这意味着该损失没有坏的局部谷，并且其所有全局最小值都连通于一个唯一且可能非常大的全局谷中。
引用
@article{arxiv.1901.07417,
title = {On Connected Sublevel Sets in Deep Learning},
author = {Quynh Nguyen},
journal= {arXiv preprint arXiv:1901.07417},
year = {2019}
}
备注
Accepted at ICML 2019. More discussions and visualizations are added