信息瓶颈的常微分方程：IB 的一阶根追踪
信息论
2023-07-27 v2 机器学习
math.IT
摘要
信息瓶颈 (IB) 是一种相关信息的有损压缩方法。其率失真 (RD) 曲线描述了输入压缩与输入中嵌入的相关信息保持之间的基本权衡。然而，它隐藏了最优输入编码的底层动力学。我们认为这些在输入信息被压缩时通常遵循分段光滑轨迹，正如近期在 RD 中所展示的。这些光滑动力学会在最优编码发生定性改变的分岔处中断。通过利用 IB 与 RD 的紧密关系，我们提供了对其解结构的实质性见解，突出了其有限维处理中的注意事项。次优解在其分岔处被看到碰撞或交换最优性。尽管 IB 及其应用已被广泛接受，但令人惊讶的是，即便对于分布已知的有限问题，能数值求解它的技术也很少。我们重新推导了 IB 的一阶常微分方程，其描述了其最优权衡曲线下的动力学。为利用这些动力学，我们不仅检测 IB 分岔还识别其类型以相应处理。相较于从次优方向逼近 IB 最优曲线，后者使我们能在温和假设下沿最优曲线跟踪解的轨迹。从而我们将对 IB 分岔的理解转化为一个惊人精确的数值算法。
引用
@article{arxiv.2306.09790,
title = {The Information Bottleneck's Ordinary Differential Equation: First-Order Root-Tracking for the IB},
author = {Shlomi Agmon},
journal= {arXiv preprint arXiv:2306.09790},
year = {2023}
}