信息瓶颈再探：后验概率视角下的最优传输
信息论
2023-08-23 v1 math.IT
摘要
信息瓶颈（IB）是一种从一个相关随机变量中提取另一目标随机变量信息的范式，因其有望从信息压缩与预测的角度解释深度神经网络而引发极大兴趣。尽管其十分重要，但由于互信息约束的非凸性，寻找最优瓶颈变量涉及困难的非凸优化问题。Blahut-Arimoto算法及其变体通过考虑具有固定拉格朗日乘子的拉格朗日量提供了一种途径。然而，BA算法仅能完整获得严格凹的IB曲线，这强烈限制了其在机器学习及相关领域的应用，因为严格凹性在这些问题中无法保证。为克服上述困难，我们从后验概率视角推导了IB问题的熵正则化最优传输（OT）模型。相应地，我们采用交替优化流程并推广Sinkhorn算法以求解上述OT模型。我们通过数值实验证明了方法的有效性与高效性。
引用
@article{arxiv.2308.11296,
title = {Information Bottleneck Revisited: Posterior Probability Perspective with Optimal Transport},
author = {Lingyi Chen and Shitong Wu and Wenhao Ye and Huihui Wu and Hao Wu and Wenyi Zhang and Bo Bai and Yining Sun},
journal= {arXiv preprint arXiv:2308.11296},
year = {2023}
}
备注
ISIT 2023