移除批归一化可提升对抗训练

对抗训练（AT）防御深度神经网络免受对抗攻击。限制其实际应用的一个挑战是干净样本上的性能退化。先前工作确认的一个主要瓶颈是广泛使用的批归一化（BN），它难以在 AT 中建模干净与对抗训练样本的不同统计量。尽管主流方法是扩展 BN 以捕捉这种混合分布，我们提议通过移除 AT 中所有 BN 层来彻底消除该瓶颈。我们的无归一化器鲁棒训练（NoFrost）方法将近期无归一化器网络的进展扩展到 AT，以利用其尚未被探索的应对混合分布挑战的优势。我们表明 NoFrost 仅以干净样本精度上的微小牺牲即取得对抗鲁棒性。在 ImageNet 与 ResNet50 上，NoFrost 取得 $74.06\%$ 干净精度，较标准训练仅降 $2.00\%$。相比之下，基于 BN 的 AT 取得 $59.28\%$ 干净精度，较标准训练显著下降 $16.78\%$。此外，NoFrost 取得针对 PGD 攻击的 $23.56\%$ 对抗鲁棒性，优于基于 BN 的 AT 的 $13.57\%$ 鲁棒性。我们观察到 NoFrost 具有更好的模型平滑性与更大的决策边界，使模型对输入扰动较不敏感从而更鲁棒。而且，当将更多数据增强引入 NoFrost 时，它取得了针对多种分布偏移的全面鲁棒性。代码与预训练模型公开于 https://github.com/amazon-research/normalizer-free-robust-training。