可识别信息瓶颈
机器学习
2023-05-01 v1 机器学习
摘要
信息瓶颈(IBs)通过信息压缩学习可泛化到未见过数据的表示。然而,由于空洞的泛化界,现有 IBs 实际上无法保证现实场景中的泛化。最近的 PAC-Bayes IB 使用信息复杂度而非信息压缩来建立与互信息泛化界的联系。然而,它需要计算昂贵的二阶曲率,这阻碍了其实际应用。在本文中,我们建立表示的易识别性与近期函数条件互信息(f-CMI)泛化界之间的联系,后者显著更易估计。在此基础上,我们提出一种可识别信息瓶颈(RIB),其通过由 Bregman 散度下密度比匹配优化的易识别性判别器来正则化表示的易识别性。在多个常用数据集上的大量实验证明了所提方法在正则化模型与估计泛化差距方面的有效性。
引用
@article{arxiv.2304.14618,
title = {Recognizable Information Bottleneck},
author = {Yilin Lyu and Xin Liu and Mingyang Song and Xinyue Wang and Yaxin Peng and Tieyong Zeng and Liping Jing},
journal= {arXiv preprint arXiv:2304.14618},
year = {2023}
}
备注
12 pages. To appear in IJCAI 2023