通过集成多个分散的低曲率模型实现集成对抗防御

集成深度学习模型已被广泛探索以增强对对抗攻击的防御。子模型间的多样性增加了欺骗集成中多数模型所需的攻击成本，从而提高了对抗鲁棒性。虽然现有方法主要集中于增加特征表示的多样性或关于输入的一阶梯度的分散性，但这些多样性度量与对抗鲁棒性之间的有限相关性制约了集成对抗防御的性能。在这项工作中，我们旨在通过降低攻击可迁移性来增强集成多样性。我们将描绘损失曲率的二阶梯度识别为对抗鲁棒性的关键因素。计算二阶梯度涉及的Hessian矩阵计算成本高昂。为解决此问题，我们使用微分近似来近似Hessian-向量积。鉴于低曲率能提供更好的鲁棒性，我们的集成模型被设计为考虑不同子模型间曲率的影响。我们引入了一种新颖的正则化项来训练多个更具多样性的低曲率网络模型。在多个数据集上的大量实验表明，我们的集成模型对一系列攻击展现出优越的鲁棒性，突显了我们方法的有效性。