神经网络中的数据依赖路径归一化
机器学习
2016-01-20 v4
摘要
我们提出了一个用于神经网络归一化、正则化与优化的统一框架，该框架包含路径SGD（Path-SGD）与批量归一化（Batch-Normalization），并沿两个不同维度在二者间进行插值。通过该框架，我们研究了优化不变性问题、数据依赖性以及与自然梯度的联系。
引用
@article{arxiv.1511.06747,
title = {Data-Dependent Path Normalization in Neural Networks},
author = {Behnam Neyshabur and Ryota Tomioka and Ruslan Salakhutdinov and Nathan Srebro},
journal= {arXiv preprint arXiv:1511.06747},
year = {2016}
}
备注
17 pages, 3 figures