基于分层随机切换的神经网络保护:面向随机防御更优的鲁棒性-准确率权衡
机器学习
2019-08-21 v1 计算机视觉与模式识别
机器学习
摘要
尽管深度神经网络在各领域取得了显著成功,近期研究揭示了其对对抗扰动的脆弱性,引发了对模型泛化性的担忧以及诸如预测规避式误分类或隐蔽重编程等新威胁。在不同防御方案中,随机神经元激活剪枝或层输入随机扰动等随机网络防御被证明在缓解攻击方面颇具前景。然而,当前防御的一个关键缺陷是鲁棒性增强以合法数据上性能明显退化为代价,例如测试准确率大幅下降。本文旨在为随机网络防御追求对抗鲁棒性与测试准确率之间更好的权衡。我们提出防御效率分数(Defense Efficiency Score, DES),一种综合度量,衡量任何防御以测试准确率下降为代价所带来的攻击失败尝试增益。为获得更优的DES,我们提出分层随机切换(hierarchical random switching, HRS),通过一种新颖的随机化方案保护神经网络。受HRS保护的模型包含若干随机切换通道块,以防止对手利用固定模型结构与参数达成其恶意目的。大量实验表明,HRS在防御最先进的白盒与自适应对抗误分类攻击方面表现优越。我们还展示了HRS在防御对抗重编程中的有效性,这是首个针对对抗程序的防御。此外,在大多数设置下HRS的平均DES至少是当前随机网络防御的5倍,验证了其显著改善的鲁棒性-准确率权衡。
引用
@article{arxiv.1908.07116,
title = {Protecting Neural Networks with Hierarchical Random Switching: Towards Better Robustness-Accuracy Trade-off for Stochastic Defenses},
author = {Xiao Wang and Siyue Wang and Pin-Yu Chen and Yanzhi Wang and Brian Kulis and Xue Lin and Peter Chin},
journal= {arXiv preprint arXiv:1908.07116},
year = {2019}
}
备注
Published as Conference Paper @ IJCAI 2019