面向紧凑型鲁棒性DNNs的压缩感知锐度最小化
计算机视觉与模式识别
2026-01-29 v1 人工智能
摘要
锐度感知最小化（SAM）最近 emerge 为提高DNN对输入变化的鲁棒性提供了有效方法，但其与嵌入式DNN部署紧凑性需求的交互作用仍未充分探索。单纯对SAM训练模型进行剪枝会削弱鲁棒性，因为连续参数空间中的平坦性不一定转化为剪枝引起的离散结构变更下的鲁棒性。相反，剪枝后应用SAM可能受限于早期无鲁棒性剪枝模式所施加的架构限制。为填补这一差距，我们提出压缩感知锐度最小化（C-SAM），一种将锐度感知学习从参数扰动转向掩码扰动的框架。通过显式扰动剪枝掩码，C-SAM促进模型结构相对于损�函数的平坦度，从而发现同时优化模型紧凑性和输入变化鲁棒性的剪枝模式。在CelebA-HQ、Flowers-102和CIFAR-10-C上进行的广泛实验表明，C-SAM在ResNet-18、GoogLeNet和MobileNet-V2上 consistently 实现更高的认证鲁棒性，提升幅度可达42%，同时保持与相应未剪枝模型相当的任务准确率。
引用
@article{arxiv.2601.20301,
title = {Towards Compact and Robust DNNs via Compression-aware Sharpness Minimization},
author = {Jialuo He and Huangxun Chen},
journal= {arXiv preprint arXiv:2601.20301},
year = {2026}
}