寻找保持动力学特性的对抗中奖票
机器学习
2022-03-08 v3
摘要
现代深度神经网络(DNNs)易受对抗攻击,而对抗训练已被证明是一种提升 DNNs 对抗鲁棒性的有效方法。在对抗背景下,剪枝方法被用于同时降低模型容量并在训练中提升对抗鲁棒性。现有对抗剪枝方法通常模仿自然训练中的经典剪枝方法,遵循“训练-剪枝-微调”的三阶段流程。我们观察到此类剪枝方法未必能保持稠密网络的动力学特性,使得其难以通过微调来补偿剪枝带来的精度下降。基于近期关于神经正切核(Neural Tangent Kernel, NTK)的研究,我们系统研究了对抗训练的动力学,并证明了在初始化时即存在可从零开始训练至具有对抗鲁棒性的可训练稀疏子网络。这在理论上验证了对抗背景下的彩票假设(lottery ticket hypothesis),我们将此类子网络结构称为对抗中奖票(Adversarial Winning Ticket, AWT)。我们还给出了经验证据,表明 AWT 保持了对抗训练的动力学特性,并取得了与稠密对抗训练相当的性能。
引用
@article{arxiv.2202.06488,
title = {Finding Dynamics Preserving Adversarial Winning Tickets},
author = {Xupeng Shi and Pengfei Zheng and A. Adam Ding and Yuan Gao and Weizhong Zhang},
journal= {arXiv preprint arXiv:2202.06488},
year = {2022}
}
备注
Accepted by AISTATS2022