信息瓶颈表示上的基数界是紧的
信息论
2023-10-09 v2 math.IT
摘要
信息瓶颈（IB）方法旨在寻找变量 的压缩表示，这些表示保留关于目标变量 的最相关信息。我们表明，对于广泛的一类分布——即，在温和条件下 由 通过汉明信道生成时——最优 IB 表示所需的字母表严格大于 的字母表。这意味着，尽管近期已有若干工作，由 Witsenhausen 与 Wyner 于 1975 年首次确定的基数界是紧的。我们发现的核心在于观察到此设定下的 IB 函数并非严格凹的，类似于确定性情形，即便 与 的联合分布具有满支撑。最后，我们给出了 IB 函数以及汉明情形下最优表示的完整刻画。
引用
@article{arxiv.2305.07000,
title = {The Cardinality Bound on the Information Bottleneck Representations is Tight},
author = {Etam Benger and Shahab Asoodeh and Jun Chen},
journal= {arXiv preprint arXiv:2305.07000},
year = {2023}
}
备注
7 pages, 2 figures, ISIT 2023 submission