CSTAR：面向兼具对抗鲁棒性的紧凑结构化深度神经网络
计算机视觉与模式识别
2023-02-21 v2
摘要
深度神经网络（DNNs）的模型压缩与模型防御已被广泛且分别地研究。考虑到模型紧凑性与鲁棒性在实际应用中的共同重要性，若干先前工作已探索提升稀疏神经网络的对抗鲁棒性。然而，现有工作获得的结构化稀疏模型在良性与鲁棒准确率上均遭受严重性能退化，从而在紧凑 DNN 的鲁棒性与结构化之间造成颇具挑战的困境。为解决这个问题，本文中我们提出 CSTAR，一种高效方案，可同时对目标 DNN 模型施加基于低秩的紧凑性、高结构性与高对抗鲁棒性。通过在同一框架内表述低秩与鲁棒性要求并全局确定秩，压缩后的 DNN 可同时实现高压缩性能与强对抗鲁棒性。在不同数据集上对各种 DNN 模型的评估证明了 CSTAR 的有效性。与最先进的鲁棒结构化剪枝方法相比，CSTAR 展现出持续更优的性能。例如，在 CIFAR-10 上压缩 ResNet-18 时，CSTAR 在良性准确率与鲁棒准确率上分别可实现高达 20.07% 和 11.91% 的提升。在 ImageNet 上以 16 倍压缩比压缩 ResNet-18 时，CSTAR 相比现有鲁棒结构化剪枝方法可获得 8.58% 的良性准确率提升与 4.27% 的鲁棒准确率提升。
引用
@article{arxiv.2212.01957,
title = {CSTAR: Towards Compact and STructured Deep Neural Networks with Adversarial Robustness},
author = {Huy Phan and Miao Yin and Yang Sui and Bo Yuan and Saman Zonouz},
journal= {arXiv preprint arXiv:2212.01957},
year = {2023}
}
备注
AAAI-23