灵活变分信息瓶颈：通过单次训练实现多样化压缩
机器学习
2025-08-13 v1 人工智能
信息论
math.IT
摘要
信息瓶颈（IB）是一个广泛使用的框架，能够从源随机变量中提取与目标随机变量相关的信息。在目标函数中，IB 通过拉格朗日乘子 控制数据压缩与预测性之间的权衡。传统上，为了找到要学习的权衡，IB 需要通过多次训练循环来搜索 ，这计算成本高昂。在本研究中，我们引入了灵活变分信息瓶颈（FVIB），这是一个用于分类任务的创新框架，能够通过单次、计算高效的训练获得所有 值下的最优模型。我们从理论上证明，在所有合理的 值下，FVIB 可以同时最大化传统 IB 方法——变分信息瓶颈（VIB）目标函数的近似值。然后，我们通过实验证明，FVIB 能够像 VIB 一样有效地学习 VIB 目标。此外，在校准性能方面，FVIB 通过实现 的连续优化，优于其他 IB 和校准方法。我们的代码可在 https://github.com/sotakudo/fvib 获取。
引用
@article{arxiv.2402.01238,
title = {Flexible Variational Information Bottleneck: Achieving Diverse Compression with a Single Training},
author = {Sota Kudo and Naoaki Ono and Shigehiko Kanaya and Ming Huang},
journal= {arXiv preprint arXiv:2402.01238},
year = {2025}
}