双重随机平滑：超越全局噪声方差
机器学习
2026-03-10 v3 人工智能
摘要
随机平滑（RS）是一种用于确认神经网络对抗性扰动鲁棒性的著名技术。通过RS，在小半径处获得高精度需要小噪声方差，而在大半径处获得高精度则需要大噪声方差。然而，标准RS公式中使用的全局噪声方差导致根本性限制：不存在一种全局噪声方差能够同时在小半径和大半径处实现强性能。为突破全局方差限制，我们提出了双重RS框架，使输入依赖性噪声方差成为可能。为此，我们首先证明了在噪声方差围绕每个输入具有局部恒定性的前提下，RS仍然有效。基于此结果，我们引入两个组件：（i）方差估计器预测每个输入的最优噪声方差，（ii）使用标准RS分类器。方差估计器通过RS独立平滑，以确保局部恒定，从而实现灵活的设计。我们还引入训练策略以迭代优化这两个组件。在CIFAR-10上的实验表明，我们的双重RS方法在小半径和大半径均提供了强大的性能——这是全局噪声方差无法实现的——在推理时仅增加60%的计算开销。此外，在大多数半径上，它都优于先前基于输入依赖性噪声的方法，半径0.5、0.75和1.0处的提升分别为15.6%、20.0%和15.7%。在ImageNet上，双重RS在所有半径上都有效，在半径0.5、1.0和1.5处分别优势为8.6%、17.1%和9.1%。此外，双重RS框架为认证鲁棒性提供了一种路由视角，提高了准确性与鲁棒性之间的trade-off。
引用
@article{arxiv.2512.01782,
title = {Dual Randomized Smoothing: Beyond Global Noise Variance},
author = {Chenhao Sun and Yuhao Mao and Martin Vechev},
journal= {arXiv preprint arXiv:2512.01782},
year = {2026}
}
备注
ICLR'26