信息瓶颈方法

我们将信号 $x\in X$ 中的相关信息定义为其关于另一信号 $y\in \Y$ 所提供的信息。例子包括人脸图像所提供的关于所描绘人物姓名的信息，或语音所提供的关于所说话语的信息。理解信号 $x$ 需要的不仅仅是预测 $y$，还需要指明 $\X$ 的哪些特征在预测中起作用。我们将此问题形式化为寻找 $\X$ 的短码，同时保留关于 $\Y$ 的最大信息。也就是说，我们将 $\X$ 提供的关于 $\Y$ 的信息挤压通过一个由有限码字集 $\tX$ 形成的“瓶颈”。这一约束优化问题可视为率失真理论的一种推广，其中失真度量 $d(x,\x)$ 由 $\X$ 和 $\Y$ 的联合统计涌现出来。该方法给出编码规则 $X \to \tX$ 与 $\tX \to \Y$ 的一组精确自洽方程。这些方程的解可通过推广 Blahut-Arimoto 算法的收敛重估计方法求得。我们的变分原理为讨论信号处理与学习中的多种问题提供了异常丰富的框架，细节将另文描述。