高效且可证明收敛的信息瓶颈计算：一种半松弛方法
信息论
2024-04-09 v1 math.IT
摘要
信息瓶颈（IB）是一种通过另一个相关随机变量提取关于一个目标随机变量信息的技术。该技术因其在信息论和深度学习中的广泛应用而引起了极大兴趣。因此，开发具有高精度和理论收敛保证的高效数值方法具有强烈动机。在本文中，我们提出了一种半松弛IB模型，其中马尔可夫链和转移概率条件从相关性-压缩函数中松弛出来。基于所提出的模型，我们开发了一种算法，该算法恢复松弛的约束，并仅涉及闭式迭代。具体而言，该算法通过分析松弛模型的拉格朗日函数并在每个方向上进行交替最小化得到。通过下降估计和Pinsker不等式，理论上保证了所提算法的收敛性。经典和离散分布上的数值实验验证了分析结果。此外，我们提出的算法在计算效率方面表现出显著优势，与现有方法相比，在精度相当的情况下运行时间大幅减少。
引用
@article{arxiv.2404.04862,
title = {Efficient and Provably Convergent Computation of Information Bottleneck: A Semi-Relaxed Approach},
author = {Lingyi Chen and Shitong Wu and Jiachuan Ye and Huihui Wu and Wenyi Zhang and Hao Wu},
journal= {arXiv preprint arXiv:2404.04862},
year = {2024}
}