双重采样随机平滑
机器学习
2023-02-01 v5 密码学与安全
统计理论
统计理论
摘要
神经网络（NNs）已知易受对抗扰动攻击，因此有一系列工作旨在为NNs提供鲁棒性认证，例如随机平滑，其从特定分布采样平滑噪声以认证平滑分类器的鲁棒性。然而，如先前工作所示，随机平滑中的认证鲁棒半径在扩展到大型数据集时受限于“维度灾难”。为克服此障碍，我们提出双重采样随机平滑（DSRS）框架，其利用来自额外平滑分布的采样概率来收紧先前平滑分类器的鲁棒性认证。理论上，在温和假设下，我们证明DSRS可在范数下认证的鲁棒半径，其中为输入维度，这意味着DSRS可能能够打破随机平滑的维度灾难。我们为广义高斯平滑族实例化DSRS，并基于考虑采样误差的定制对偶优化提出一种高效且可靠的计算方法。在MNIST、CIFAR-10和ImageNet上的大量实验验证了我们的理论，并表明DSRS在不同设置下一致地认证比现有基线更大的鲁棒半径。代码见https://github.com/llylly/DSRS。
引用
@article{arxiv.2206.07912,
title = {Double Sampling Randomized Smoothing},
author = {Linyi Li and Jiawei Zhang and Tao Xie and Bo Li},
journal= {arXiv preprint arXiv:2206.07912},
year = {2023}
}
备注
ICML 2022; minor typos fixed; minor data corrected on Page 42 (no influence on conclusions)