前馈架构的模块化块对角曲率近似
机器学习
2020-03-02 v3 机器学习
摘要
我们提出了反向传播的一种模块化扩展，用于计算训练目标各类曲率矩阵（特别是 Hessian、广义 Gauss-Newton 和正曲率 Hessian）的块对角近似。该方法将原本繁琐的手动推导这些矩阵的过程简化为局部模块，并易于集成到现有的机器学习库中。此外，我们发展了源自矩阵微分微积分的紧凑记法。我们概述了适用于本方法的不同策略。它们将近期提出的块对角近似作为特例涵盖，并在本工作中扩展至卷积神经网络。
引用
@article{arxiv.1902.01813,
title = {Modular Block-diagonal Curvature Approximations for Feedforward Architectures},
author = {Felix Dangel and Stefan Harmeling and Philipp Hennig},
journal= {arXiv preprint arXiv:1902.01813},
year = {2020}
}
备注
9 pages, 5 figures, 1 table, supplements included (13 pages, 6 figures, 2 tables)