带Dropout调度的单步对抗训练

深度学习模型在包括医学诊断和自动驾驶在内的计算机视觉应用中表现出令人印象深刻的性能。这些模型面临的主要问题之一是它们易受对抗攻击的影响。认识到这一问题的重要性，越来越多的研究人员致力于开发受对抗攻击影响较小的鲁棒模型。对抗训练方法在这一方向上显示出有希望的结果。在对抗训练机制中，模型使用增广了对抗样本的小批量数据进行训练。为了降低计算复杂度，使用快速且简单的方法（例如单步梯度上升）生成对抗样本。研究表明，使用单步对抗训练方法（使用非迭代方法生成对抗样本）训练的模型是伪鲁棒的。此外，这种模型的伪鲁棒性归因于梯度掩蔽效应。然而，现有工作未能解释单步对抗训练期间梯度掩蔽效应何时以及为何发生。在这项工作中，（i）我们表明，使用单步对抗训练方法训练的模型学会了阻止单步对抗样本的生成，这是由于训练初始阶段的过拟合所致，并且（ii）为了减轻这种效应，我们提出了一种带dropout调度的单步对抗训练方法。与使用现有单步对抗训练方法训练的模型不同，使用所提出的单步对抗训练方法训练的模型对单步和多步对抗攻击都具有鲁棒性，并且在白盒和黑盒设置下，其性能与使用计算成本高昂的多步对抗训练方法训练的模型相当。