从频率视角看少步对抗训练

我们从频域角度研究对抗样本生成方法，并将标准的 $l_{\infty}$ 投影梯度下降（Projected Gradient Descent, PGD）扩展到频域。所得方法称为谱投影梯度下降（Spectral Projected Gradient Descent, SPGD），在该方法早期步骤中具有比 PGD 更高的成功率。在攻击步数相同的情况下，使用 SPGD 进行对抗训练所得到的模型比使用 PGD 具有更高的对抗精度。因此，在使用步数较少的对抗生成时，SPGD 可降低对抗训练的开销。然而，我们也证明了 SPGD 等价于一种通常用于 $l_{\infty}$ 威胁模型的 PGD 变体。该 PGD 变体省略了通常应用于梯度的符号函数。因此，SPGD 无需显式变换到频域即可执行。最后，我们将 SPGD 生成的扰动可视化，发现它们同时使用了高频和低频分量，这表明去除高频分量或低频分量均不是一种有效的防御。