中文

计数向量相对熵的广义及其浓度性质

信息论 2024-05-08 v2 math.IT

摘要

我们提出一种将相对熵推广到非负向量(其和大于 1)的方法。我们在纯组合学设置中(无概率考虑)证明了在由线性约束定义的凸体中,针对该广义相对熵会出现浓度现象,并对浓度程度进行了精确量化。我们还给出概率形式的表述,并将浓度结果推广到概率情形。此外,我们提供了若干简化和改进,尤其是在对偶优化问题、针对 \ell_{\infty} 距离的浓度以及与广义 KL 散度的关系方面。我们许多结果适用于一般紧凑凸集,不一定是多面体。

关键词

引用

@article{arxiv.2404.15867,
  title  = {A Generalization of Relative Entropy to Count Vectors and its Concentration Property},
  author = {Kostas N. Oikonomou},
  journal= {arXiv preprint arXiv:2404.15867},
  year   = {2024}
}

备注

38 pages, fixed a typo on p. 3 top