对抗性微调对压缩神经网络影响的实证研究

随着深度学习（DL）模型越来越多地集成到我们的日常生活中，确保其通过对抗攻击具有鲁棒性已变得越来越关键。人们发现，DL模型通过对输入数据引入小幅针对性扰动即可被敌对攻击所破坏。对抗性训练被提出作为缓解策略，可导致更具鲁棒性的模型。这种对抗鲁棒性伴随着额外的计算成本，这些成本用于在训练期间设计对抗性攻击。两个目标——对抗鲁棒性和计算效率——似乎与此相冲突。在本工作中，我们探讨了神经网络压缩对对抗鲁棒性的影响。我们特别探讨了对压缩模型进行微调的效果，并在标准微调与对抗性微调之间提出权衡。我们的结果表明，对抗性微调的压缩模型可显著提高其鲁棒性表现。我们在几个基准数据集上进行实验，表明对抗性微调的压缩模型可实现与对抗训练模型相当的鲁棒性表现，同时也提高了计算效率。源代码可在此处获取：https://github.com/saintslab/Adver-Fine。