基于模块鲁棒性灵敏度的自适应剪枝：在压缩与鲁棒性之间取得平衡
机器学习
2025-03-20 v2
摘要
神经网络剪枝传统上侧重于基于权重的准则以实现模型压缩，常常忽视了针对对抗鲁棒性和准确性之间关键平衡的关注。现有方法常常无法在被剪枝后的网络中保持鲁棒性，使其更易受对抗攻击。本文引入模块鲁棒性灵敏度 (MRS)，这是一种量化对抗扰动敏感性的度量，动态地信息化剪枝决策。利用 MRS，我们提出了模块鲁棒剪枝和微调 (MRPF)，这是一种与任何对抗训练方法兼容的自适应剪枝算法，具有灵活性和可扩展性。在 SVHN、CIFAR 和 Tiny-ImageNet 上的大量实验，涵盖 ResNet、VGG 和 MobileViT 等各种架构，表明 MRPF 在保持具竞争力的准确性和计算效率的同时显著提高了对抗鲁棒性。此外，MRPF 在鲁棒性、准确性和压缩方面 consistently 优于最先进的结构化剪枝方法。该工作建立了一个实用且可泛化的鲁棒剪枝框架，解决了模型压缩与鲁棒性保存之间的长期矛盾。
引用
@article{arxiv.2410.15176,
title = {Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness},
author = {Lincen Bai and Hedi Tabia and Raúl Santos-Rodríguez},
journal= {arXiv preprint arXiv:2410.15176},
year = {2025}
}