Scifaro

中文

深度学习理论 IIb：SGD 的优化性质

机器学习 2018-01-09 v1

作者: Chiyuan Zhang , Qianli Liao , Alexander Rakhlin , Brando Miranda , Noah Golowich , Tomaso Poggio

在 arXiv 上查看 ↗ PDF ↗

摘要

在理论 IIb 中，我们结合理论与实验刻画了随机梯度下降（SGD）对深度卷积网络的优化。本文的主要新结果是针对以下关于 SGD 的猜想的理论与实验证据：SGD 以概率集中——如同经典朗之万方程——于大体积、“平坦”的极小值，选择平坦极小化子，其以极高概率也是全局极小化子。

关键词

深度学习理论随机梯度下降卷积网络朗之万方程平坦极小值全局极小化子

引用

@article{arxiv.1801.02254,
  title  = {Theory of Deep Learning IIb: Optimization Properties of SGD},
  author = {Chiyuan Zhang and Qianli Liao and Alexander Rakhlin and Brando Miranda and Noah Golowich and Tomaso Poggio},
  journal= {arXiv preprint arXiv:1801.02254},
  year   = {2018}
}