面对对抗者时的剪枝
机器学习
2021-08-20 v1 密码学与安全
摘要
深度神经网络对对抗样本（具有微小不可感知扰动 inputs）的脆弱性近来在研究界引起了大量关注。同时，最先进深度学习模型的参数量一直在大规模增长，这对训练和部署此类模型所需的内存与计算资源产生了影响。控制神经网络规模的一种方法是回顾性地减少参数数量，即所谓的神经网络剪枝。现有关于神经网络剪枝对对抗鲁棒性影响的研究较为零散，且常常未遵循既有的鲁棒性评估原则。我们通过评估剪枝模型在 L-0、L-2 和 L-infinity 攻击下、针对广泛攻击强度、多种架构、数据集、剪枝方法和压缩率的鲁棒性，弥补了这一空白。我们的结果证实，神经网络剪枝与对抗鲁棒性并非互斥。相反，可以找到在模型规模和对抗鲁棒性方面均有利的甜点。此外，我们将分析扩展到包含对抗场景额外假设的情况，并表明根据不同情境，不同策略为最优。
引用
@article{arxiv.2108.08560,
title = {Pruning in the Face of Adversaries},
author = {Florian Merkle and Maximilian Samsinger and Pascal Schöttle},
journal= {arXiv preprint arXiv:2108.08560},
year = {2021}
}