基于潜在脆弱性抑制的对抗神经剪枝
机器学习
2020-07-03 v4 密码学与安全
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
尽管深度神经网络在各种计算机视觉任务上表现卓越，但已知其易受对抗扰动影响，这使得在现实世界安全关键应用中部署它们具有挑战性。在本文中，我们推测对抗脆弱性的主要原因是潜在特征空间中的失真，并提供有效抑制它们的方法。具体而言，我们为每个潜在特征定义脆弱性（vulnerability），然后提出一种用于对抗学习的新损失——脆弱性抑制（VS）损失，旨在训练期间最小化特征级脆弱性。我们进一步提出一个贝叶斯框架，以剪枝高脆弱性特征，从而降低对抗样本上的脆弱性与损失。我们在多个基准数据集上验证我们的基于脆弱性抑制的对抗神经剪枝（ANP-VS）方法，该方法不仅获得最先进的对抗鲁棒性，而且仅使用全网络所用参数的一小部分便提升了干净样本上的性能。进一步的定性分析表明，改进来自特征级脆弱性的抑制。
引用
@article{arxiv.1908.04355,
title = {Adversarial Neural Pruning with Latent Vulnerability Suppression},
author = {Divyam Madaan and Jinwoo Shin and Sung Ju Hwang},
journal= {arXiv preprint arXiv:1908.04355},
year = {2020}
}
备注
Accepted to ICML 2020. Code available at https://github.com/divyam3897/ANP_VS