神经网络的对角重标度
机器学习
2017-05-29 v1 机器学习
摘要
我们定义了一种二阶神经网络随机梯度训练算法，其块对角结构实际上等同于对单元激活进行归一化。探究该算法为何缺乏鲁棒性，揭示了两个有趣的见解。第一个见解提出了一种缩放步长的新方法，阐明了诸如RMSProp等流行算法以及诸如扇入步长缩放的旧神经网络技巧。第二个见解强调了处理代价曲率快速变化的实际重要性。
引用
@article{arxiv.1705.09319,
title = {Diagonal Rescaling For Neural Networks},
author = {Jean Lafond and Nicolas Vasilache and Léon Bottou},
journal= {arXiv preprint arXiv:1705.09319},
year = {2017}
}