迈向一种对抗鲁棒的标准化方法
机器学习
2020-06-22 v1 机器学习
摘要
批标准化（BatchNorm）可有效提升深度神经网络性能并加速训练。然而，它也被证明是对抗脆弱性的一个成因，即不含它的网络对对抗攻击更为鲁棒。本文中，我们探究 BatchNorm 如何导致该脆弱性，并提出一种对对抗攻击鲁棒的新标准化方法。我们首先观察到对抗图像倾向于偏移 BatchNorm 输入的分布式，且该偏移使得训练时估计的总体统计量不准确。我们假设这些不准确的统计量使得带 BatchNorm 的模型更易受对抗攻击。我们通过将训练时估计的统计量替换为推理时批次计算的统计量来验证假设。我们发现，若使用这些统计量，BatchNorm 的对抗脆弱性便消失。然而，若无估计的批次统计量，当无法获得大批次输入时，便无法在实践中使用 BatchNorm。为缓解此问题，我们提出鲁棒标准化（RobustNorm）——BatchNorm 的对抗鲁棒版本。我们通过实验表明，以 RobustNorm 训练的模型在对抗环境下表现更优，同时保留了 BatchNorm 的全部益处。代码见 \url{https://github.com/awaisrauf/RobustNorm}。
引用
@article{arxiv.2006.11007,
title = {Towards an Adversarially Robust Normalization Approach},
author = {Muhammad Awais and Fahad Shamshad and Sung-Ho Bae},
journal= {arXiv preprint arXiv:2006.11007},
year = {2020}
}