重新审视 Fisher 信息的指数平均
机器学习
2022-07-01 v2 机器学习
摘要
在机器学习（ML）优化中，曲率矩阵（CM）估计通常依赖于局部估计的指数平均（EA）（即 EA-CM 算法）。这种方法缺乏严谨的理论依据，但在实践中常被使用。本文中，我们在 EA-CM 算法与我们所称之为“二次正则化模型的尾迹（Wake of Quadratic regularized models）”之间建立了联系。所阐明的联系使我们能从优化视角理解 EA-CM 算法的机理。基于该联系进行推广，我们提出了一类新算法——“KL 散度尾迹正则化模型”（KLD-WRM）。我们给出了 KLD-WRM 的三种不同实用实例，并通过数值实验表明它们在 MNIST 上优于 K-FAC。
引用
@article{arxiv.2204.04718,
title = {Rethinking Exponential Averaging of the Fisher},
author = {Constantin Octavian Puiu},
journal= {arXiv preprint arXiv:2204.04718},
year = {2022}
}
备注
- fixed small bug in QE-KLD-WRM and thus improved results slightly - Corrected the acknowledgement section - removed redundat paragraph in S2.4 - introduced a small section with connection to second order methods (S4.5) - some minor rephrasing - added a new short discussion: S4 of Suppl. mat