稀疏诱导类别先验提升信息瓶颈的鲁棒性
机器学习
2022-10-31 v2 机器学习
统计方法学
摘要
信息瓶颈框架提供了一种系统方法,用于学习能够压缩输入中干扰信息并提取关于预测的语义有意义信息的表示。然而,固定所有数据维度的先验分布的选择会限制该方法学习鲁棒表示的灵活性。我们提出一种新颖的稀疏诱导尖峰- slab类别先验,其利用稀疏性作为一种机制来提供灵活性,使每个数据点能学习自身的维度分布。此外,它提供了一种学习潜变量与稀疏性联合分布的机制,从而能够考虑潜空间中的完整不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内与分布外学习场景的一系列实验,我们表明所提方法相比传统固定维度先验以及文献中提出的其他潜变量模型稀疏诱导机制,在准确率和鲁棒性上均有提升。
引用
@article{arxiv.2203.02592,
title = {Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck},
author = {Anirban Samaddar and Sandeep Madireddy and Prasanna Balaprakash and Tapabrata Maiti and Gustavo de los Campos and Ian Fischer},
journal= {arXiv preprint arXiv:2203.02592},
year = {2022}
}