统一框架下的梯度下降一阶与二阶变体
机器学习
2021-08-17 v4 机器学习
摘要
本文概述机器学习中常用的一阶和二阶梯度下降方法变体。我们提出一个通用框架，其中6种变体可解释为同一方法的不同实例。它们分别是 vanilla 梯度下降、经典与广义 Gauss-Newton 方法、自然梯度下降方法、梯度协方差矩阵方法以及牛顿法。除了在单一框架内解释这些方法外，我们阐明了它们的特性，并展示了其中某些方法在何种条件下重合。
引用
@article{arxiv.1810.08102,
title = {First-order and second-order variants of the gradient descent in a unified framework},
author = {Thomas Pierrot and Nicolas Perrin and Olivier Sigaud},
journal= {arXiv preprint arXiv:1810.08102},
year = {2021}
}
备注
13 pages