通过分类层权重惩罚提升对抗鲁棒性
机器学习
2020-10-09 v1 计算机视觉与模式识别
摘要
众所周知，深度神经网络易受对抗攻击。近期研究表明，设计良好的分类部分可带来更好的鲁棒性。然而，沿此方向的改进空间仍然很大。本文中，我们首先从几何角度证明，神经网络的鲁棒性等价于分类器权重的某种角度间隔条件。随后我们解释为何在此框架下ReLU型函数并非激活函数的良好选择。这些发现揭示了现有方法的局限，并引导我们开发一种新颖的轻量级惩罚防御方法，该方法简单且具有良好的可扩展性。在多个基准数据集上的实证结果表明，我们的方法能有效提升网络的鲁棒性，且无需过多额外计算，同时保持对干净数据的高分类精度。
引用
@article{arxiv.2010.03844,
title = {Improve Adversarial Robustness via Weight Penalization on Classification Layer},
author = {Cong Xu and Dan Li and Min Yang},
journal= {arXiv preprint arXiv:2010.03844},
year = {2020}
}
备注
22 pages, 10 figures, 43 references