通过嵌入神经网络至过参数化情形的半平坦极小值与鞍点
机器学习
2019-06-17 v2 机器学习
摘要
我们从理论上研究了过参数化情形下神经网络训练误差的景观。我们考虑了将网络嵌入到具有更多隐藏单元的更宽网络的三种基本方法，并讨论了较窄网络的极小点是否会给出较宽网络的极小点或鞍点。我们的结果表明，具有平滑和 ReLU 激活函数的网络在嵌入点周围具有不同的部分平坦景观。我们还将这类结果与它们在过参数化实现中泛化能力的差异联系起来。
引用
@article{arxiv.1906.04868,
title = {Semi-flat minima and saddle points by embedding neural networks to overparameterization},
author = {Kenji Fukumizu and Shoichiro Yamaguchi and Yoh-ichi Mototake and Mirai Tanaka},
journal= {arXiv preprint arXiv:1906.04868},
year = {2019}
}
备注
38 pages, 4 figures