ViViT：通过广义高斯-牛顿的低秩结构获取曲率
机器学习
2022-02-11 v2 机器学习
摘要
以 Hessian 或其广义高斯-牛顿（GGN）近似形式出现的曲率，对于依赖损失局部模型来训练、压缩或解释深度网络的算法颇具价值。现有基于自动微分隐式乘法或克罗内克因子分块对角近似的方法未考虑小批量中的噪声。我们提出 ViViT，一种利用 GGN 低秩结构且不作进一步近似的曲率模型。它允许高效计算特征值、特征向量，以及逐样本一阶与二阶方向导数。该表示在一个反向传播中与梯度并行计算，并提供细粒度的代价-精度权衡，使其可扩展。我们通过性能基准测试展示这一点，并借助研究神经网络训练期间噪声对 GGN 结构性质的影响来证实 ViViT 的实用性。
引用
@article{arxiv.2106.02624,
title = {ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure},
author = {Felix Dangel and Lukas Tatzel and Philipp Hennig},
journal= {arXiv preprint arXiv:2106.02624},
year = {2022}
}
备注
Main text: 10 pages, 6 figures; Supplements: 26 pages, 27 figures, 5 tables