论耦合的熵
信息论
2020-08-13 v2 math.IT
摘要
本文研究了具有受限边缘的概率分布集上 Shannon 信息测度的一些一般性质。证明了与这些泛函相关的某些优化问题是 NP 难的，并且发现它们的特例本质上是著名计算问题（如 SUBSET SUM 和 3-PARTITION）的信息论重述。引入了最小熵耦合的概念，并展示了其在信息论、计算和统计背景下的相关性。最后，研究了由这些耦合定义的一族伪度量（在离散概率分布空间上），特别是它们与全变差距离的关系，并给出了条件熵的新刻画。
引用
@article{arxiv.1303.3235,
title = {On the Entropy of Couplings},
author = {Mladen Kovačević and Ivan Stanojević and Vojin Šenk},
journal= {arXiv preprint arXiv:1303.3235},
year = {2020}
}
备注
18 pages (single-column). Compared to v1, the material is reorganized, Section IV.C is removed (the results will possible appear elsewhere), Propositions 3.2 and 3.7 are added. Accepted for publication in Information and Computation