中文

通过最佳多项式逼近在大字母表上进行熵估计的极小极大速率

信息论 2016-02-19 v3 math.IT 统计理论 统计理论

摘要

考虑从nn个独立样本中估计kk个元素分布的香农熵的问题。我们证明,如果nn超过klogk\frac{k}{\log k}的常数倍,则极小均方误差在通用乘法常数因子范围内接近(knlogk)2+log2kn\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n};否则不存在一致估计量。这改进了 Valiant-Valiant \cite{VV11} 的近期结果,即一致熵估计所需的最小样本量按Θ(klogk)\Theta(\frac{k}{\log k})缩放。最佳多项式逼近的工具在最优估计量的构造中以及通过对偶论证在极小极大下界的推导中均发挥了关键作用。

关键词

引用

@article{arxiv.1407.0381,
  title  = {Minimax rates of entropy estimation on large alphabets via best polynomial approximation},
  author = {Yihong Wu and Pengkun Yang},
  journal= {arXiv preprint arXiv:1407.0381},
  year   = {2016}
}