高斯信息瓶颈方法的直观剖析及其在最优预测中的应用
分子网络
2025-07-08 v1 统计力学
信息论
math.IT
生物物理
摘要
高效信号表示是生物与人工系统在资源受限条件下正常工作的关键。广为人知的框架是信息瓶颈方法，它产生一种编码随机变量（如信号）的最优策略，以在编码信息量受限的前提下，最大限度地保留关于功能相关变量的信号信息。虽然在一般形式中该方法为数值方法，但在变量为 jointly 高斯的重要特殊情况下可推导出解析解。在此设置下，解预测了随着编码容量增加，最优表示维度的离散转变。尽管这些标志性转变以及其他最优策略特征可从约束优化问题中推导，但对其出现的清晰直观理解仍然缺乏。我们通过多种相互增益的视角深化了对高斯信息瓶颈方法的理解，包括几何和信息论视角。这些视角为关于最优编码方向、最优编码组件数量变化的临界点的性质，以及最优策略如何在这些临界点之间导航提供了新颖的直观。我们随后将该方法应用于此前研究的信号预测问题，获得了关于不同信号特征如何在多个组件中编码以实现对未来信号的最优预测的新见解。总体而言，我们深化了在高斯情境下信息瓶颈方法的基础理解，激励了在更广泛、非高斯情境中探索类似视角。
引用
@article{arxiv.2507.05183,
title = {Intuitive dissection of the Gaussian information bottleneck method with an application to optimal prediction},
author = {Vahe Galstyan and Age Tjalma and Pieter Rein ten Wolde},
journal= {arXiv preprint arXiv:2507.05183},
year = {2025}
}