中文

瓶颈问题的推广

信息论 2018-11-16 v3 机器学习 math.IT

摘要

给定一对随机变量 (X,Y)PXY(X,Y)\sim P_{XY} 和两个凸函数 f1f_1f2f_2,我们引入两个瓶颈泛函,作为二维凸集的下边界和上边界,该凸集由所有满足马尔可夫条件 WXYW \to X \to Y 的离散随机变量 WW 所对应的点对 (If1(W;X),If2(W;Y))\left(I_{f_1}(W; X), I_{f_2}(W; Y)\right) 组成,其中 IfI_f 表示 ff-信息。应用 Witsenhausen 和 Wyner 的方法,我们给出了针对 f1f_1f2f_2 以及离散 PXYP_{XY} 计算该集合边界的算法。在二进制对称情形下,当 (i) f1(t)=f2(t)=tlogtf_1(t)=f_2(t)=t\log t,(ii) f1(t)=f2(t)=t21f_1(t)=f_2(t)=t^2-1,以及 (iii) f1f_1f2f_2 均为 β\ell^\beta 范数函数且 β2\beta \geq 2 时,我们完整刻画了该集合。进而我们论证:(i) 中的上、下边界分别对应 Gerber 太太引理及其逆引理(我们称之为 Gerber 先生引理);(ii) 中对应信息瓶颈与隐私漏斗的估计理论变体;(iii) 中对应 Arimoto 信息瓶颈与隐私漏斗。

关键词

引用

@article{arxiv.1802.05861,
  title  = {Generalizing Bottleneck Problems},
  author = {Hsiang Hsu and Shahab Asoodeh and Salman Salamatian and Flavio P. Calmon},
  journal= {arXiv preprint arXiv:1802.05861},
  year   = {2018}
}

备注

IEEE International Symposium on Information Theory (ISIT), 2018