对角费希尔信息矩阵估计量的权衡

费希尔信息矩阵可用于刻画神经网络参数空间的局部几何性质。它阐明了深刻的理论，并为理解和优化神经网络提供了有用工具。鉴于其高昂的计算成本，实践者常使用随机估计量并仅评估对角元素。我们考察了两种流行的估计量，其准确性和样本复杂度取决于它们相关的方差。我们推导了方差的界限，并在回归和分类的神经网络中实例化了这些界限。我们基于分析和数值研究，为这两种估计量权衡利弊。我们发现，方差量取决于不同参数组相关的非线性，在估计费希尔信息时不应被忽略。