重访希尔伯特-施密特信息瓶颈用于对抗鲁棒性
机器学习
2021-10-27 v2
摘要
我们研究将 HSIC（希尔伯特-施密特独立性准则）瓶颈作为正则化器，用于学习对抗鲁棒的深度神经网络分类器。除常规交叉熵损失外，我们为每一中间层添加正则化项，以确保潜在表示保留用于输出预测的有用信息，同时减少冗余信息。我们从理论与实验两方面表明，HSIC 瓶颈增强了对抗攻击的鲁棒性。具体而言，我们证明 HSIC 瓶颈正则化器降低了分类器对对抗样本的敏感性。在多个基准数据集与架构上的实验表明，引入 HSIC 瓶颈正则化器可在有或无对抗样本训练的情况下，取得有竞争力的自然精度并提升对抗鲁棒性。我们的代码与对抗鲁棒模型已公开可用。
引用
@article{arxiv.2106.02734,
title = {Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness},
author = {Zifeng Wang and Tong Jian and Aria Masoomi and Stratis Ioannidis and Jennifer Dy},
journal= {arXiv preprint arXiv:2106.02734},
year = {2021}
}
备注
Published as a conference paper at NeurIPS 2021