批量归一化加剧对抗脆弱性并削弱对抗可迁移性：基于非鲁棒特征的视角
机器学习
2021-10-08 v2 计算机视觉与模式识别
机器学习
摘要
批量归一化（BN）因改善收敛性已被广泛用于现代深度神经网络（DNNs）。据观察，BN 在提高模型准确率的同时以对抗鲁棒性为代价。ML 社区对理解 BN 对 DNN 的影响（尤其与模型鲁棒性相关者）兴趣日增。本工作试图从非鲁棒特征视角理解 BN 对 DNN 的影响。直观上，准确率的提升可归因于对有用特征的更好利用。目前尚不清楚 BN 主要利于学习鲁棒特征（RFs）还是非鲁棒特征（NRFs）。我们的工作给出了支持 BN 使模型更依赖 NRFs 的经验证据。为便于分析此类特征鲁棒性偏移，我们提出一个将鲁棒有用性解耦为鲁棒性与有用性的框架。在该框架下的大量分析揭示了有关 DNN 鲁棒性行为的宝贵洞见，例如 DNN 先主要学习 RFs 再学习 NRFs。RFs 比 NRFs 迁移性更好的洞见，进一步启发了加强基于迁移的黑盒攻击的简单技术。
引用
@article{arxiv.2010.03316,
title = {Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective},
author = {Philipp Benz and Chaoning Zhang and In So Kweon},
journal= {arXiv preprint arXiv:2010.03316},
year = {2021}
}
备注
Accepted to ICCV 2021