信息瓶颈问题的充分统计量降维化简
信息论
2026-04-30 v1 math.IT
机器学习
摘要
我们证明了若条件分布p(C|T)通过充分统计量{\phi}(T)进行因式分解，则(T,C)的Information Bottleneck（IB）问题与({\phi}(T),C)的IB问题完全等价。该降维过程无损：它保留了完整的IB曲线、每个权衡参数\b{eta}下的拉格朗日最优解，以及通过{\phi}的回拉映射后的最优表示。因此，求解IB问题的计算复杂度由充分统计量的维数决定，而非源的基准维数。这确定了IB问题在何种情况下可被简化为可求解情形，为离散与线性-高斯情形之间提供了形式化的桥梁。我们进一步指出，Chechik、Globerson和Tishby、Weiss的经典高斯IB解是该降维的一个直接推论，我们还提出了非线性-高斯的概括。一个小型数值示例说明了实际影响：当可获得低维充分统计量时，即可在由统计量维数决定的计算成本下，精确求出IB曲线。
引用
@article{arxiv.2604.26744,
title = {A Sufficient-Statistic Reduction of the Information Bottleneck to a Low-Dimensional Problem},
author = {Joss Armstrong},
journal= {arXiv preprint arXiv:2604.26744},
year = {2026}
}