中文

精确公共信息

信息论 2014-02-04 v1 math.IT

摘要

本文引入了精确公共信息(exact common information)的概念,即为了精确分布式生成两个相关随机变量(X,Y)(X,Y)所需的公共随机性的最小描述长度。我们引入量G(X;Y)=minXWYH(W)G(X;Y)=\min_{X\to W \to Y} H(W)作为精确公共信息的自然界,并研究其性质和计算。随后,我们引入了精确公共信息率,即为精确生成二维离散无记忆源 (2-DMS) (X,Y)(X,Y)所需的公共随机性的最小描述率。我们给出了其多字母刻画,即极限Gˉ(X;Y)=limn(1/n)G(Xn;Yn)\bar{G}(X;Y)=\lim_{n\to \infty}(1/n)G(X^n;Y^n)。虽然一般而言Gˉ(X;Y)\bar{G}(X;Y)大于或等于 Wyner 公共信息,但我们证明了对于对称二进制擦除源(Symmetric Binary Erasure Source),它们是相等的。然而,我们尚不清楚精确公共信息率在一般情况下是否具有单字母刻画。

关键词

引用

@article{arxiv.1402.0062,
  title  = {Exact Common Information},
  author = {Gowtham Ramani Kumar and Cheuk Ting Li and Abbas El Gamal},
  journal= {arXiv preprint arXiv:1402.0062},
  year   = {2014}
}