IB-RAR：以信息瓶颈作为对抗鲁棒性的正则化器
机器学习
2023-06-01 v2 人工智能
计算机视觉与模式识别
摘要
本文提出一种新方法 IB-RAR，利用信息瓶颈（IB）增强对抗训练与非对抗训练方法的对抗鲁棒性。我们首先使用 IB 理论在损失函数中构建作为学习目标的正则化器。随后，依据中间表示与标签的互信息（MI）过滤掉不必要特征，因为用 IB 训练的网络为其特征提供了易区分的 MI。实验结果表明，我们的方法可自然结合对抗训练，并在新对抗样本上提供持续更优的准确率。在 CIFAR-10 数据集上，用三种对抗训练基准训练的 VGG16 网络，我们的方法针对五种对抗攻击平均提升 3.07% 准确率。此外，我们的方法也为无防御方法（如仅用交叉熵损失训练）提供了良好鲁棒性。最后，在无对抗训练时，用我们的方法与 CIFAR-10 数据集训练的 VGG16 网络在 PGD 样本上达到 35.86% 准确率，而使用所有层仅达 25.61% 准确率。
引用
@article{arxiv.2302.10896,
title = {IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness},
author = {Xiaoyun Xu and Guilherme Perin and Stjepan Picek},
journal= {arXiv preprint arXiv:2302.10896},
year = {2023}
}