鲁棒训练的期望紧界
机器学习
2021-06-15 v5 密码学与安全
机器学习
摘要
训练对范数有界对抗攻击鲁棒的深度神经网络仍是一个难以解决的问题。虽然精确与非精确的基于验证的方法通常过于昂贵而无法训练大型网络，但已有研究表明，有界输入区间可以低成本地通过深度网络从一层传播到另一层。这种区间界传播方法（IBP）不仅改善了鲁棒性与认证准确率，而且是首个应用于大型/深度网络的方法。然而，由于IBP界非常宽松，所需的训练过程复杂且繁琐。本文仔细考察了以Affine-ReLU-Affine形式组合的层块的界。为此，我们提出了期望紧界（期望中的真实界），称为ETB，其在期望上被证明比IBP界更紧。随后我们将该结果通过分块传播推广到更深的网络，并表明与IBP相比，我们可以获得数量级更紧的界。此外，使用一种简单的标准训练过程，我们能在MNIST和CIFAR10上实现令人印象深刻的鲁棒性-准确率权衡。
引用
@article{arxiv.1905.12418,
title = {Expected Tight Bounds for Robust Training},
author = {Salman Alsubaihi and Adel Bibi and Modar Alfadly and Abdullah Hamdi and Bernard Ghanem},
journal= {arXiv preprint arXiv:1905.12418},
year = {2021}
}
备注
Presented as a RobustML workshop paper at ICLR 2021