基于信息瓶颈的对抗样本中鲁棒与非鲁棒特征提取
机器学习
2022-04-07 v1
摘要
由精心构造扰动生成的对抗样本已引起研究领域的相当关注。近期工作指出，鲁棒与非鲁棒特征的存在是对抗样本产生的主要原因，并探究了它们在特征空间中的内部交互。本文中，我们提出一种利用信息瓶颈将特征表示显式蒸馏为鲁棒与非鲁棒特征的方法。具体而言，我们向各特征单元注入噪声变化，并基于噪声变化幅度评估特征表示中的信息流，以将特征单元二分为鲁棒或非鲁棒。通过综合实验，我们证明蒸馏所得特征与对抗预测高度相关，且它们自身具备人类可感知的语义信息。此外，我们提出一种攻击机制，强化与非鲁棒特征相关的梯度（其直接关联模型预测），并验证其破坏模型鲁棒性的有效性。
引用
@article{arxiv.2204.02735,
title = {Distilling Robust and Non-Robust Features in Adversarial Examples by Information Bottleneck},
author = {Junho Kim and Byung-Kwan Lee and Yong Man Ro},
journal= {arXiv preprint arXiv:2204.02735},
year = {2022}
}
备注
NeurIPS 2021