Scifaro

中文

Path-SGD：深度神经网络中的路径归一化优化

机器学习 2015-06-09 v1 计算机视觉与模式识别神经与进化计算机器学习

作者: Behnam Neyshabur , Ruslan Salakhutdinov , Nathan Srebro

在 arXiv 上查看 ↗ PDF ↗

摘要

我们通过重新考量优化权重的适当几何结构，重新审视了使用SGD训练深度神经网络的选择。我们主张一种对权重重缩放不变且不影响网络输出的几何，并提出了Path-SGD，这是一种相对于与最大范数正则化相关的路径式正则化子的近似最速下降法。Path-SGD易于高效实现，并在经验上优于SGD和AdaGrad。

关键词

深度神经网络随机梯度下降路径归一化最大范数正则化优化几何 Path-SGD

引用

@article{arxiv.1506.02617,
  title  = {Path-SGD: Path-Normalized Optimization in Deep Neural Networks},
  author = {Behnam Neyshabur and Ruslan Salakhutdinov and Nathan Srebro},
  journal= {arXiv preprint arXiv:1506.02617},
  year   = {2015}
}

备注

12 pages, 5 figures