通过方差缩减分类器提升随机平滑
机器学习
2022-03-31 v3 人工智能
计算机视觉与模式识别
摘要
随机平滑（RS）是一种通过在噪声下评估基模型来获得鲁棒性证书的有前景的方法。在本工作中，我们：（i）从理论层面论证了为何集成模型是RS特别合适的基模型选择；（ii）通过实验证实了该选择，在多种设定下取得了最先进的结果。我们工作的关键洞见是，集成模型在RS引入的扰动上所具有的更低方差，使得给定输入的分类结果显著更一致。这进而大幅提升了靠近决策边界样本的可认证半径。此外，我们引入了关键优化，使RS在预定半径下的采样复杂度最高降低55倍，从而大幅减少其计算开销。在实验中，我们表明仅由3至10个分类器组成的集成在CIFAR10和ImageNet上相对于其最强组成模型的平均认证半径（ACR）持续提高5%至21%，分别达到0.86和1.11的新的最先进ACR。我们在 https://github.com/eth-sri/soothing-ensembles 发布了复现结果所需的所有代码与模型。
引用
@article{arxiv.2106.06946,
title = {Boosting Randomized Smoothing with Variance Reduced Classifiers},
author = {Miklós Z. Horváth and Mark Niklas Müller and Marc Fischer and Martin Vechev},
journal= {arXiv preprint arXiv:2106.06946},
year = {2022}
}
备注
ICLR 2022 Spotlight Paper