利用可解码信息瓶颈学习最优表示
机器学习
2021-07-19 v2 信息论
math.IT
机器学习
摘要
我们探讨了有监督学习中最优表示的特征刻画与求解问题。传统上，该问题借助信息瓶颈（Information Bottleneck）以解码器无关的方式压缩输入同时保留关于目标的信息来处理。然而在机器学习中，我们的目标并非压缩而是泛化，而泛化与所关注的预测族或解码器（例如线性分类器）密切相关。我们提出了可解码信息瓶颈（Decodable Information Bottleneck, DIB），从期望的预测族视角考量信息保留与压缩。因此，DIB 产生的表示在期望测试性能意义上是最优的，并且可以带保证地估计。在实验上，我们表明该框架可用于在下游分类器上强制较小的泛化差距，并预测神经网络的泛化能力。
引用
@article{arxiv.2009.12789,
title = {Learning Optimal Representations with the Decodable Information Bottleneck},
author = {Yann Dubois and Douwe Kiela and David J. Schwab and Ramakrishna Vedantam},
journal= {arXiv preprint arXiv:2009.12789},
year = {2021}
}
备注
Accepted at NeurIPS 2020