最大似然估计的亚高斯浓度与熵子正态性
信息论
2026-05-26 v2 math.IT
统计理论
机器学习
统计理论
摘要
众所周知，在标准正则性条件下，最大似然估计（MLE）满足中心极限定理，随着样本量的增大，收敛至正态随机变量的分布。本文通过发展几种更强的渐近正态性形式来强化这一经典结果。在对得分函数进行额外假设后，我们首先建立亚高斯尾部界限和归一化估计误差的所有矩的收敛。随后我们证明了对平滑化估计器的熵中心极限定理，表明其相对熵收敛于限制性正态分布。当归一化估计的 Fisher 信息受控，或其密度的第一导数受控时，我们进一步证明平滑化可以被去除，从而得到 MLE 本身的熵正态性。本文的证明发展出若干独立感兴趣的辅助工具，包括指数一致性界限、高阶估计以及用于估计器的熵控制论证。
引用
@article{arxiv.2605.07107,
title = {Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator},
author = {Leighton P. Barnes and Alex Dytso},
journal= {arXiv preprint arXiv:2605.07107},
year = {2026}
}