PGD对抗训练是必要的吗?仅使用含噪自然样本的软量化网络替代训练

近期关于对抗攻击与防御的研究表明,PGD是一种通用的$l_\infty$一阶攻击,且PGD对抗训练能显著提升网络针对多种一阶$l_\infty$有界攻击的鲁棒性,被视为最先进的防御方法。然而,PGD对抗训练一个明显的弱点是在生成对抗样本时计算成本极高,使其在ImageNet等大型高分辨率真实数据集上计算上不可行。此外,近期研究也提出了在MNIST上获得鲁棒模型的简单“闭式”解。因此,一个自然的问题是:PGD对抗训练对于鲁棒防御真的是必要的吗?本文给出否定答案,提出了一种在多个标准数据集上可与PGD对抗训练媲美、且仅使用含噪自然样本的训练范式。具体而言,我们将PGD对抗训练中的极小极大目标重新表述为最小化原始网络损失加上其关于输入的梯度的$l_1$范数之和的问题。对于$l_1$范数损失,我们通过在网络输入层后嵌入可微软量化层给出了计算可行的解决方案。我们形式化地表明,用含噪自然样本训练的软量化层是最小化PGD对抗训练中$l_1$梯度范数的一种替代方法。在标准数据集上的大量实证评估表明,我们提出的模型在PGD和BPDA攻击下可与PGD对抗训练模型相媲美。值得注意的是,我们的方法在MNIST上实现了24倍加速,同时保持相当的防御能力,并首次在仅两天内微调出鲁棒的Imagenet模型。代码见\url{https://github.com/tianzheng4/Noisy-Training-Soft-Quantization}。