关于 Kullback-Leibler 散度与交叉熵的上界
信息论
2019-11-20 v1 math.IT
摘要
这篇存档文章由两位作者在牛津和马德里过去两年间的数次讨论报告，以及他们在此期间关于 Kullback-Leibler 散度与交叉熵上界的研究工作组成。该工作受 Chen 和 Golan [1] 提出的成本收益比，以及该度量中使用的 Kullback-Leibler (KL) 散度无界这一不良性质所推动。随后该工作 (i) 确认了成本收益比中使用的 KL 散度应呈现有界性质，(ii) 提出了一种新的散度度量，以及 (iii) 将该新散度度量与若干其他有界度量进行了比较。
引用
@article{arxiv.1911.08334,
title = {On the Upper Bound of the Kullback-Leibler Divergence and Cross Entropy},
author = {Min Chen and Mateu Sbert},
journal= {arXiv preprint arXiv:1911.08334},
year = {2019}
}