用于深度神经网络精度与鲁棒性高效原位权衡的稀疏混合一次训练对抗训练
计算机视觉与模式识别
2023-02-08 v1
摘要
现有在干净图像和对抗扰动图像上均达到最先进（SOTA）性能的深层神经网络（DNNs）依赖于激活或权重条件卷积操作。然而，此类条件学习会带来额外的乘加（MAC）或加法运算，增加推理内存与计算成本。为此，我们提出稀疏混合一次训练对抗训练（SMART），使模型能够一次性训练，随后在原位权衡精度与鲁棒性，且以更低的计算与参数开销实现。具体而言，SMART 为干净图像和对抗图像分别构建两条专家路径，并通过各自专用的二值稀疏掩码集进行条件训练。在多个图像分类数据集和不同模型上的大量评估表明，SMART 的非零参数最多减少 2.72 倍，计算开销成比例降低，同时取得 SOTA 的精度-鲁棒性权衡。此外，我们给出了在设计稀疏掩码以成功条件于干净与扰动图像方面的深刻观察。
引用
@article{arxiv.2302.03523,
title = {Sparse Mixture Once-for-all Adversarial Training for Efficient In-Situ Trade-Off Between Accuracy and Robustness of DNNs},
author = {Souvik Kundu and Sairam Sundaresan and Sharath Nittur Sridhar and Shunlin Lu and Han Tang and Peter A. Beerel},
journal= {arXiv preprint arXiv:2302.03523},
year = {2023}
}
备注
5 pages, 5 figures, 2 tables