从有效间隔正则化视角提升对抗鲁棒性
机器学习
2022-10-12 v1 计算机视觉与模式识别
机器学习
摘要
在过去几年中，深度神经网络（DNN）的对抗脆弱性已被积极研究。本文研究了交叉熵损失的尺度不变性失效性质，这是分类任务中最常用的损失函数，及其对深度神经网络的有效间隔和对抗鲁棒性的影响。由于损失函数对 logit 缩放不具有不变性，增加有效权重范数会使损失趋近于零及其梯度消失，而有效间隔并未得到充分最大化。在典型的 DNN 上，我们证明，如果未经适当正则化，标准训练无法学习到大的有效间隔并导致对抗脆弱性。为了最大化有效间隔并学习鲁棒的 DNN，我们提出在训练期间对有效权重范数进行正则化。我们在前馈 DNN 上的实证研究表明，所提出的有效间隔正则化（EMR）能够学习大的有效间隔，并在标准训练和对抗训练中均提升对抗鲁棒性。在大规模模型上，我们表明 EMR 显著优于基本的对抗训练、TRADES 和两个正则化基线。此外，当与几种强大的对抗防御方法（MART 和 MAIL）结合时，我们的 EMR 进一步提升了鲁棒性。
引用
@article{arxiv.2210.05118,
title = {Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization},
author = {Ziquan Liu and Antoni B. Chan},
journal= {arXiv preprint arXiv:2210.05118},
year = {2022}
}
备注
BMVC 2022