基于参考的鲁棒变分信息瓶颈学习
机器学习
2021-04-30 v1 机器学习
摘要
我们提出一种训练变分信息瓶颈（VIB）的新方法，提升了其对对抗扰动的鲁棒性。与传统方法通常将硬标签用于分类任务不同，我们在训练阶段利用从预训练参考神经网络获得的软标签来精炼类别信息，这些软标签能够反映原始类标签的可能性。我们还通过使用互信息神经估计放宽了 VIB 实现中的高斯后验假设。我们在 MNIST 和 CIFAR-10 数据集上进行了大量实验，结果表明我们提出的方法显著优于基准模型。
引用
@article{arxiv.2104.14379,
title = {Learning Robust Variational Information Bottleneck with Reference},
author = {Weizhu Qian and Bowei Chen and Xiaowei Huang},
journal= {arXiv preprint arXiv:2104.14379},
year = {2021}
}
备注
8 pages, 5 figures