$\ell_1$ 损失下离散分布的极小极大估计
信息论
2015-12-31 v3 math.IT
摘要
我们分析了 损失下的离散分布估计问题。我们提供了经验分布（即最大似然估计量）的最大风险以及字母表大小 可能随观测数量 增长时的极小极大风险的非渐近上下界。我们表明，在有界熵 的分布类中，经验分布的渐近最大风险为 ，而渐近极小极大风险为 。此外，我们证明了一个不知晓未知上界 的硬阈值估计量是渐近极小极大的。然而，如果将估计值约束在概率分布单纯形内，则渐近极小极大风险再次变为 。我们将我们的工作与密度估计、熵估计、全变差距离（ 散度）估计、随机过程中的联合分布估计、正态均值估计以及自适应估计等领域的文献建立了联系。
引用
@article{arxiv.1411.1467,
title = {Minimax Estimation of Discrete Distributions under $\ell_1$ Loss},
author = {Yanjun Han and Jiantao Jiao and Tsachy Weissman},
journal= {arXiv preprint arXiv:1411.1467},
year = {2015}
}