关于深度学习中 Fisher 信息的方差
机器学习
2021-10-29 v3 机器学习
摘要
在深度学习领域，Fisher 信息矩阵（FIM）为刻画损失景观、执行二阶优化以及构建几何学习理论提供了新颖的见解与有用工具。精确的 FIM 要么无闭式解，要么计算代价过高。实践中，它几乎总是基于经验样本进行估计。我们研究了基于 FIM 两种等价表示的两种此类估计器——二者均为无偏且一致的。其估计质量自然由给定闭式形式的方差来衡量。我们分析了深度神经网络的参数结构如何影响该方差。随后在深度学习背景下讨论了该方差度量的含义及其上界。
引用
@article{arxiv.2107.04205,
title = {On the Variance of the Fisher Information for Deep Learning},
author = {Alexander Soen and Ke Sun},
journal= {arXiv preprint arXiv:2107.04205},
year = {2021}
}
备注
Published in Advances in Neural Information Processing Systems 34 (NeurIPS 2021)