基于 Hammersley-Chapman-Robbins 界的 Kullback-Leibler 散度新下界
统计理论
2019-11-05 v3 信息论
math.IT
机器学习
统计理论
摘要
本文基于 Hammersley-Chapman-Robbins 界（HCRB）推导了 Kullback-Leibler 散度（KL 散度）的一个有用下界。HCRB 指出，估计量的方差以下界受限于卡方散度与该估计量的期望值。利用 KL 散度与卡方散度之间的关系，我们给出了 KL 散度的一个下界，该下界仅依赖于我们所选函数的期望值与方差。此下界也可由信息几何方法导出。此外，我们证明了对于 Bernoulli 分布等号成立，并表明当两个分布非常接近时该不等式收敛于 Cramér-Rao 界。我们还给出了应用示例与数值计算示例。
引用
@article{arxiv.1907.00288,
title = {A New Lower Bound for Kullback-Leibler Divergence Based on Hammersley-Chapman-Robbins Bound},
author = {Tomohiro Nishiyama},
journal= {arXiv preprint arXiv:1907.00288},
year = {2019}
}
备注
8 pages, 3 figures