关于集成模型及其以上的认证鲁棒性
机器学习
2022-04-22 v2 人工智能
密码学与安全
计算机视觉与模式识别
摘要
近期研究表明，深度神经网络(DNN)容易受到对抗样本的攻击，这些样本旨在通过添加小幅度的扰动来误导 DNN。为了抵御此类攻击，针对单一 ML 模型，人们已经广泛研究了经验和理论防御方法。在这项工作中，我们旨在分析并提供集成 ML 模型的认证鲁棒性，以及不同集成协议下鲁棒性的充分必要条件。尽管经验上表明集成模型比单一模型更鲁棒；但令人惊讶的是，我们发现就认证鲁棒性而言，标准集成模型相比单一模型仅取得了微小的提升。因此，为了探索保证提供可认证鲁棒集成 ML 模型的条件，我们首先证明在模型平滑假设下，梯度多样性和大置信度边界是可认证鲁棒集成模型的充分必要条件。然后，我们基于提出的先集成后平滑(Ensemble-before-Smoothing)策略提供了有界模型平滑性分析。我们还证明了在温和条件下，集成模型总能比单一基础模型实现更高的认证鲁棒性。受理论发现的启发，我们提出了轻量级的多样性正则化训练(Diversity Regularized Training, DRT)来训练可认证鲁棒的集成 ML 模型。大量实验表明，我们通过 DRT 增强的集成模型能够持续实现比现有单一和集成 ML 模型更高的认证鲁棒性，在 MNIST、CIFAR-10 和 ImageNet 数据集上展现了最先进的认证 L2 鲁棒性。
引用
@article{arxiv.2107.10873,
title = {On the Certified Robustness for Ensemble Models and Beyond},
author = {Zhuolin Yang and Linyi Li and Xiaojun Xu and Bhavya Kailkhura and Tao Xie and Bo Li},
journal= {arXiv preprint arXiv:2107.10873},
year = {2022}
}
备注
ICLR 2022. 51 pages, 10 pages for main text. Forum and code: https://openreview.net/forum?id=tUa4REjGjTf