指数族中极大似然估计量在分布无偏估计量间一致最小化分布方差

我们采用一种无参数分布估计框架，其中估计量是随机分布，并利用 Kullback-Leibler（KL）散度作为损失函数。Wu 和 Vos [J. Statist. Plann. Inference 142 (2012) 1525-1536] 表明，当从 i.i.d. 样本获得的估计量被视为随机分布时，该估计量的 KL 风险分解方式平行于估计量为实值随机变量时的均方误差分解。在本文中，我们探讨如何定义分布期望（$E^{\dagger}$）的条件版本，以使 Rao-Blackwell 定理的分布版本成立。我们定义了分布期望和方差（$V^{\dagger}$），它们同样给出了指数族和混合族中 KL 风险的分解。对于指数族，我们证明极大似然估计量（视为随机分布）是分布无偏的，并且是唯一的一致最小分布方差无偏（UMV$^{\dagger}$U）估计量。此外，我们证明 MLE 对模型设定具有鲁棒性：若真实分布不属于指数族，只要这两个分布对典范统计量的期望相同，则 MLE 对于真实分布到指数族的 KL 投影是 UMV$^{\dagger}$U 的。为了允许取指数族之外值的估计量，我们给出了 KL 投影的结果，并定义了扩展投影以适应具有离散样本空间族中 MLE 的不存在性。文中提供了说明性示例。