基于投票的集成提升防御模型的鲁棒性
机器学习
2020-12-01 v1 密码学与安全
计算机视觉与模式识别
机器学习
摘要
针对对抗扰动开发鲁棒模型一直是一个活跃的研究领域，许多算法已被提出用于训练单个鲁棒模型。利用这些预训练的鲁棒模型，我们旨在研究是否有可能通过创建集成来进一步提升鲁棒性。先前的若干尝试通过集成软标签预测来解决该问题，但已被证明基于最新攻击方法是脆弱的。在本文中，我们表明如果鲁棒训练损失足够多样化，一种简单的基于硬标签的投票集成能够降低每个单独模型的鲁棒误差。此外，给定一组鲁棒模型，我们开发了一种原则性的方法来选择哪些模型进行集成。最后，为验证提升的鲁棒性，我们进行了大量实验来研究如何攻击基于投票的集成，并开发了几种新的白盒攻击。在 CIFAR-10 数据集上，通过集成多个最先进的预训练防御模型，我们的方法能够达到 59.8% 的鲁棒准确率，在不使用额外数据的情况下优于所有现有的防御模型。
引用
@article{arxiv.2011.14031,
title = {Voting based ensemble improves robustness of defensive models},
author = {Devvrit and Minhao Cheng and Cho-Jui Hsieh and Inderjit Dhillon},
journal= {arXiv preprint arXiv:2011.14031},
year = {2020}
}