用信息瓶颈训练归一化流以实现竞争性生成分类
机器学习
2021-01-13 v5 机器学习
摘要
信息瓶颈（IB）目标利用信息论来表述任务性能与鲁棒性之间的权衡。它已成功应用于标准判别分类设定中。我们提出如下问题：IB 是否也可用于训练诸如归一化流之类的生成似然模型。由于归一化流使用可逆网络架构（INN），它们按构造是信息保持的。这似乎与瓶颈思想矛盾。在本工作中，首先，我们发展了 IB-INN 的理论与方法论，这是一类条件归一化流，其中 INN 使用 IB 目标训练：引入少量受控的信息损失允许对 IB 进行渐近精确表述，同时保持 INN 的生成能力完好。其次，我们通过实验研究这些模型的特性，特别是用作生成分类器时。该类模型具有改进的不确定性量化与分布外检测等优势，但传统生成分类器解在分类精度上严重受损。我们发现 IB 中的权衡参数控制了生成能力与接近标准分类器的精度之混合。经验上，我们在该混合机制中的不确定性估计优于常规生成与判别分类器。
引用
@article{arxiv.2001.06448,
title = {Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification},
author = {Lynton Ardizzone and Radek Mackowiak and Carsten Rother and Ullrich Köthe},
journal= {arXiv preprint arXiv:2001.06448},
year = {2021}
}