计数向量相对熵的广义及其浓度性质
信息论
2024-05-08 v2 math.IT
摘要
我们提出一种将相对熵推广到非负向量(其和大于 1)的方法。我们在纯组合学设置中(无概率考虑)证明了在由线性约束定义的凸体中,针对该广义相对熵会出现浓度现象,并对浓度程度进行了精确量化。我们还给出概率形式的表述,并将浓度结果推广到概率情形。此外,我们提供了若干简化和改进,尤其是在对偶优化问题、针对 距离的浓度以及与广义 KL 散度的关系方面。我们许多结果适用于一般紧凑凸集,不一定是多面体。
引用
@article{arxiv.2404.15867,
title = {A Generalization of Relative Entropy to Count Vectors and its Concentration Property},
author = {Kostas N. Oikonomou},
journal= {arXiv preprint arXiv:2404.15867},
year = {2024}
}
备注
38 pages, fixed a typo on p. 3 top