基于 Hessian 的深度网络 SGD 分析：动力学与泛化
机器学习
2019-07-26 v1 机器学习
摘要
尽管随机梯度下降（SGD）及其变体在训练深度网络方面取得了令人惊讶的成功，但优化动力学与泛化的若干方面仍未被充分理解。本文基于训练损失及其相关量的 Hessian，对深度网络 SGD 的优化动力学与泛化行为提出了新的经验观测与理论结果。我们考虑三个具体的研究问题：（1）损失的 Hessian 与随机梯度（SG）二阶矩之间的关系是什么？（2）如何基于 SG 的一阶与二阶矩，刻画采用固定与自适应步长以及对角预条件的 SGD 随机优化动力学？（3）如何基于损失的 Hessian 刻画深度网络的尺度不变泛化界，而该 Hessian 本身并非尺度不变的？我们通过理论结果并结合大量经验观测来阐明这三个问题，实验在合成数据、MNIST 和 CIFAR-10 上进行，采用不同批量大小，并通过合成添加随机标签构造不同难度级别。
引用
@article{arxiv.1907.10732,
title = {Hessian based analysis of SGD for Deep Nets: Dynamics and Generalization},
author = {Xinyan Li and Qilong Gu and Yingxue Zhou and Tiancong Chen and Arindam Banerjee},
journal= {arXiv preprint arXiv:1907.10732},
year = {2019}
}