噪声与曲率之间的相互作用及其对优化与泛化的影响
机器学习
2020-04-08 v2 机器学习
摘要
使用随机方法最小化期望损失的速度取决于两个性质：损失的曲率与梯度的方差。虽然以往大多数工作聚焦于其中之一，我们探究了它们的相互作用如何影响优化速度。此外，由于最终目标是良好的泛化性能，我们阐明了曲率与噪声如何与正确估计泛化差距相关。认识到一些现有工作的局限性源于对这些矩阵的混淆，我们也澄清了Fisher矩阵、Hessian矩阵与梯度协方差矩阵之间的区别。
引用
@article{arxiv.1906.07774,
title = {On the interplay between noise and curvature and its effect on optimization and generalization},
author = {Valentin Thomas and Fabian Pedregosa and Bart van Merriënboer and Pierre-Antoine Mangazol and Yoshua Bengio and Nicolas Le Roux},
journal= {arXiv preprint arXiv:1906.07774},
year = {2020}
}
备注
Accepted to AISTATS 2020