通过符号延拓与熵正则化轨迹实现稳定且凸化的信息瓶颈优化

Faruk Alpay

通过符号延拓与熵正则化轨迹实现稳定且凸化的信息瓶颈优化

机器学习 2025-05-15 v1

作者: Faruk Alpay

摘要

信息瓶颈（IB）方法经常面临优化不稳定的问题，其特征是在 IB 权衡参数 $\beta$ 的临界点附近出现表示的突变。在本文中，我引入了一种通过符号延拓和熵正则化轨迹实现稳定且凸化的 IB 优化的新方法。我解析地证明了当包含熵正则化项时 IB 解路径的凸性和唯一性，并展示了这如何在广泛的 $\beta$ 值范围内稳定表示学习。此外，我提供了在临界点（ $\beta$ ）附近的广泛敏感性分析，并具有统计上稳健的不确定性量化（95% 置信区间）。本工作包含的开源实现、实验结果和可复现性框架，为我所提出方法的实际部署和未来扩展提供了清晰的路径。

关键词

信息瓶颈凸优化符号延拓熵正则化表示学习

引用

@article{arxiv.2505.09239,
  title  = {Stable and Convexified Information Bottleneck Optimization via Symbolic Continuation and Entropy-Regularized Trajectories},
  author = {Faruk Alpay},
  journal= {arXiv preprint arXiv:2505.09239},
  year   = {2025}
}

备注

23 pages, 11 figures, includes analytical proofs, sensitivity analysis (95% CI), and JAX-based open-source implementation available at: https://github.com/farukalpay/information-bottleneck-beta-optimization

通过符号延拓与熵正则化轨迹实现稳定且凸化的信息瓶颈优化

摘要

关键词

引用

备注

相关论文