面向自然鲁棒性的动态批归一化统计量更新
计算机视觉与模式识别
2023-11-01 v1 机器学习
摘要
在天然干净样本上训练的 DNN 在 corrupted 样本（如带噪或模糊图像）上表现不佳已被证实。近来提出了多种数据增强方法以提升 DNN 对常见 corruptions 的鲁棒性。尽管取得成功，它们需要计算昂贵的训练且无法应用于现成训练模型。最近研究表明，在单一 corruption 上更新现成模型的 BatchNorm（BN）统计量可显著提升其在该 corruption 上的准确率。然而，在推理时 corruption 类型未知且变化的情况下采用该思路会降低此方法的有效性。本文中，我们利用傅里叶域检测 corruption 类型，这在图像域中是项挑战性任务。我们提出一个由 corruption 检测模型与 BN 统计量更新组成的统一框架，可提升任意现成训练模型在 corruption 上的准确率。我们在不同模型与数据集上基准测试了我们的框架。我们的结果显示在 CIFAR10-C 与 ImageNet-C 上分别约有 8% 与 4% 的准确率提升。此外，我们的框架可进一步提升 SOTA 鲁棒模型（如 AugMix 与 DeepAug）的准确率。
引用
@article{arxiv.2310.20649,
title = {Dynamic Batch Norm Statistics Update for Natural Robustness},
author = {Shahbaz Rezaei and Mohammad Sadegh Norouzzadeh},
journal= {arXiv preprint arXiv:2310.20649},
year = {2023}
}