标量情形下 Fisher 信息近似方法的精度比较

Fisher 信息矩阵（FIM）长期以来在统计学及其他领域备受关注。它被广泛用于度量信息量，并计算最大似然估计（MLE）方差的下界。在实践中，我们并非总能得到实际的 FIM。这通常是因为难以获得对数似然函数的一阶或二阶导数，或者仅仅是因为 FIM 的计算过于艰巨。在此类情况下，我们需要利用 FIM 的近似。一般而言，估计 FIM 有两种方法。一是使用梯度与其自身转置的乘积，二是计算 Hessian 矩阵再取负号。实践中人们大多使用后者。然而，这未必是最优方式。为弄清两种方法孰优孰劣，我们需要进行理论研究以比较其效率。本文主要关注待由 MLE 估计的未知参数为标量且所得随机变量相互独立的情形。此时 Fisher 信息矩阵实质上即为 Fisher 信息数（FIN）。利用中心极限定理（CLT），我们得到两种方法的渐近方差，并据此比较其精度。Taylor 展开有助于估计这两个渐近方差。文末给出数值研究以阐释结论。随后总结本文的局限性，并在文末列举若干值得未来研究的领域。关键词：Fisher 信息矩阵，Fisher 信息数，中心极限定理，Taylor 展开，渐近方差。