利用随机量化与信息论集成训练提升量化深度神经网络对白盒攻击的鲁棒性
计算机视觉与模式识别
2023-12-04 v1 密码学与安全
机器学习
摘要
大多数采用深度神经网络（DNNs）的实际应用都将其量化为低精度以减少计算需求。我们提出了一种提升量化 DNNs 对白盒对抗攻击鲁棒性的方法。我们首先通过引入可微分的随机量化器（SQ）来解决确定性量化局限于固定“箱”的问题。我们探究了如下假设：不同的量化模型 collectively 可能比单个量化 DNN 更具鲁棒性。我们制定了一个训练目标，以鼓励不同的量化 DNN 学习输入图像的不同表示。该训练目标通过集成成员间的互信息来刻画多样性与准确性。通过实验，我们展示了针对 攻击鲁棒性的显著提升，即使允许攻击者通过 SQ 反向传播（例如，在无对抗训练的情况下，CIFAR10 上对 PGD(5/255) 的准确率 > 50%），相较于原始 DNN 以及现有的量化 DNN 集成均有提升。我们将该方法扩展至检测攻击并在对抗信息平面（AIP）中生成鲁棒性剖面，通过关联 MI 与准确性来实现对不同威胁模型的统一分析。
引用
@article{arxiv.2312.00105,
title = {Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training},
author = {Saurabh Farkya and Aswin Raghavan and Avi Ziskind},
journal= {arXiv preprint arXiv:2312.00105},
year = {2023}
}
备注
9 pages, 9 figures, 4 tables