稀疏性遇见鲁棒性：基于费曼-卡茨形式化原理的鲁棒深度神经网络的通道剪枝
机器学习
2020-03-03 v1 人工智能
机器学习
摘要
深度神经网络（DNNs）的压缩对于适配移动设备至关重要。尽管已有许多成功的算法用于压缩自然训练的 DNNs，但为鲁棒训练的 DNNs 开发高效且稳定的压缩算法仍是一个开放问题。本文关注于高效 DNN 压缩算法与稀疏神经架构的协同设计，以实现鲁棒且准确的深度学习。这种协同设计使我们能够推进兼顾稀疏性与鲁棒性的目标。基于此目标，我们利用基于松弛增广拉格朗日的算法，在结构化和非结构化两个层面对对抗训练的 DNNs 进行权重剪枝。借助费曼-卡茨形式化原理指导的鲁棒且稀疏的 DNNs，我们至少能使针对 CIFAR10 分类的对抗训练 ResNet20 的通道稀疏度翻倍，同时将自然准确率提升 \%，并在基准 次迭代的 IFGSM 攻击下的鲁棒准确率提升 \%。代码见 \url{https://github.com/BaoWangMath/rvsm-rgsm-admm}。
引用
@article{arxiv.2003.00631,
title = {Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets},
author = {Thu Dinh and Bao Wang and Andrea L. Bertozzi and Stanley J. Osher},
journal= {arXiv preprint arXiv:2003.00631},
year = {2020}
}
备注
16 pages, 7 figures