通过间隔提升构建鲁棒集成
机器学习
2022-06-08 v1 人工智能
密码学与安全
统计方法学
机器学习
摘要
在对抗鲁棒性的背景下，单一模型通常没有足够能力防御所有可能的对抗攻击，因此鲁棒性次优。随之，一条新兴工作线聚焦于学习神经网络集成以防御对抗攻击。本工作中，我们采取原则性方法构建鲁棒集成。我们从间隔提升的视角看待该问题，并开发了学习具有最大间隔的集成的算法。通过对基准数据集的广泛实证评估，我们表明我们的算法不仅优于现有集成技术，也优于以端到端方式训练的大模型。我们工作的一个重要副产品是间隔最大化交叉熵（MCE）损失，它是标准交叉熵（CE）损失的更好替代。实证上，我们表明用我们的 MCE 损失替换最先进对抗训练技术中的 CE 损失可带来显著性能提升。
引用
@article{arxiv.2206.03362,
title = {Building Robust Ensembles via Margin Boosting},
author = {Dinghuai Zhang and Hongyang Zhang and Aaron Courville and Yoshua Bengio and Pradeep Ravikumar and Arun Sai Suggala},
journal= {arXiv preprint arXiv:2206.03362},
year = {2022}
}
备注
Accepted by ICML 2022