经验 Fisher 近似在自然梯度下降中的局限性
机器学习
2020-06-09 v3 机器学习
摘要
自然梯度下降利用底层统计模型的 Fisher 信息矩阵对梯度下降更新进行预处理，是一种获取部分二阶信息的方法。若干高关注度的工作提倡一种称为经验 Fisher(empirical Fisher)的近似，并在近似二阶方法与 Adam 等启发式算法之间建立联系。我们反驳这一论点，指出经验 Fisher——不同于 Fisher——通常并不捕获二阶信息。我们进一步论证，经验 Fisher 逼近 Fisher(以及 Hessian)的条件在实践中不太可能满足，并且即使在简单优化问题上，经验 Fisher 的缺陷也会产生不良后果。
关键词
引用
@article{arxiv.1905.12558,
title = {Limitations of the Empirical Fisher Approximation for Natural Gradient Descent},
author = {Frederik Kunstner and Lukas Balles and Philipp Hennig},
journal= {arXiv preprint arXiv:1905.12558},
year = {2020}
}
备注
V3: Minor corrections (typographic errors)