面对对抗性攻击时，斯坦因收缩在批量归一化中的可接受性
机器学习
2026-02-04 v2 机器学习
摘要
批量归一化 (BN) 是深度神经网络中普遍使用的操作，主要用于提高训练期间的稳定性和正则化。在训练过程中，BN 利用样本均值和方差对特征图进行中心化和缩放，这在均值和方差的均方误差意义上天然适用于斯坦因估计。应用此类收缩可获得更精确的批次均值和方差估计。本文证明，在以亚高斯分布建模对抗性攻击的情境下，斯坦因均值和方差估计器分别在均方误差意义上优于样本均值和方差估计器。此外，根据其构造，詹姆斯-斯坦 (JS) BN 相对于 vanilla BN 具有更小的局部 Lipschitz 常数，这表明其具有更好的正则性，可能改善鲁棒性。这一发现促进并正当化了将斯坦因收缩用于估计 BN 中的均值和方差参数，并可用于在有无对抗性攻击的情况下进行图像分类和分割任务。我们在标准 ResNet 架构上实现了该斯坦因校正 BN 的 SOTA 性能结果，用于 CIFAR-10 数据上的图像分类、PPMI (神经影像) 数据上的 3D CNN 和 Cityscapes 数据上的图像分割任务，分别在有无对抗性攻击的情况下均取得优异成绩。
引用
@article{arxiv.2507.08261,
title = {Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks},
author = {Sofia Ivolgina and P. Thomas Fletcher and Baba C. Vemuri},
journal= {arXiv preprint arXiv:2507.08261},
year = {2026}
}