仅需简单微调：通过对抗微调实现鲁棒深度学习
计算机视觉与模式识别
2020-12-29 v1 人工智能
机器学习
神经与进化计算
摘要
采用投影梯度下降（PGD）的对抗训练（AT）是提升深度神经网络鲁棒性的有效方法。然而，PGD AT已被证明存在两个主要局限：i）计算成本高，ii）训练期间极度过拟合导致模型泛化能力下降。尽管模型容量和训练数据规模等因素对对抗鲁棒性的影响已被广泛研究，但网络优化中一个非常重要参数——学习率——对对抗鲁棒性的影响却鲜受关注。具体而言，我们假设对抗训练期间有效的学习率调度可显著缓解过拟合问题，以至于甚至无需从头对抗训练模型，而只需对预训练模型进行对抗微调。受此假设启发，我们提出一种简单却非常有效的对抗微调方法，基于学习率调度策略，不仅显著降低所需计算成本，还大幅提升了深度神经网络的准确率和鲁棒性。实验结果表明，所提对抗微调方法在CIFAR-10、CIFAR-100和ImageNet数据集上的测试准确率和鲁棒性均优于最先进方法，同时将计算成本降低8-10。此外，所提对抗微调方法一个极为重要的益处是，它能够提升任何预训练深度神经网络的鲁棒性而无需从头训练模型，据作者所知这在研究文献中尚属首次。
引用
@article{arxiv.2012.13628,
title = {A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning},
author = {Ahmadreza Jeddi and Mohammad Javad Shafiee and Alexander Wong},
journal= {arXiv preprint arXiv:2012.13628},
year = {2020}
}