一种通过深度神经网络动态网络重连实现的可调鲁棒剪枝框架
计算机视觉与模式识别
2020-11-25 v2 密码学与安全
机器学习
摘要
本文提出一种动态网络重连（DNR）方法，用于生成对对抗攻击具有鲁棒性且在干净图像上保持高精度的剪枝深度神经网络（DNN）模型。具体而言，所提出的DNR方法基于一种统一的约束优化公式，该公式使用混合损失函数将超高模型压缩与鲁棒对抗训练相融合。该训练策略根据由混合损失函数计算的逐层归一化动量动态调整层间连接。与现有需要多次训练迭代的鲁棒剪枝框架不同，所提出的学习策略仅通过单次训练迭代即可达到整体目标剪枝比，并且可调节以支持非规则与结构化通道剪枝。为评估DNR的优势，我们在CIFAR-10、CIFAR-100上使用两种广泛接受的模型（即VGG16和ResNet-18），并在Tiny-ImageNet上使用VGG16进行了实验。与未压缩的基线模型相比，DNR在所有数据集上提供超过20倍的压缩率，且在干净与对抗分类精度上均无显著下降。此外，我们的实验表明，DNR始终能找到比最先进替代方法所能达到的更优的干净与对抗图像分类性能的压缩模型。
引用
@article{arxiv.2011.03083,
title = {A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of DNNs},
author = {Souvik Kundu and Mahdi Nazemi and Peter A. Beerel and Massoud Pedram},
journal= {arXiv preprint arXiv:2011.03083},
year = {2020}
}
备注
8 pages, 4 figures, conference paper