中文

$L_1$球补集上的最小KL散度

信息论 2014-02-21 v8 math.IT

摘要

Pinsker广泛使用的不等式用Kullback-Leibler散度D(PQ)D(P||Q)给出了总变差距离PQ1||P-Q||_1的上界。尽管一般来说反向的界是不可能的,但在许多应用中,实际感兴趣的量是D(P,\eps)D^*(P,\eps)——定义为对于任意固定的PP,在所有与PP的总变差距离至少为\eps\eps的分布QQ上,D(PQ)D(P||Q)的下确界。我们证明D(P,\eps)C\eps2+O(\eps3)D^*(P,\eps)\le C\eps^2 + O(\eps^3),其中C=C(P)=1/2C=C(P)=1/2对于“平衡”分布,从而提供了一种反向Pinsker不等式。给出了在大偏差理论中的应用,一些结构结果可能具有独立意义。

关键词

引用

@article{arxiv.1206.6544,
  title  = {Minimum KL-divergence on complements of $L_1$ balls},
  author = {Daniel Berend and Peter Harremoës and Aryeh Kontorovich},
  journal= {arXiv preprint arXiv:1206.6544},
  year   = {2014}
}

备注

A previous version had the title "A Reverse Pinsker Inequality"