用于鲁棒模型的驻点损失
机器学习
2023-02-21 v1
摘要
无法保证鲁棒性是深度学习模型在安全关键领域应用的主要障碍之一。我们发现，最常用的交叉熵（CE）损失并不能保证神经网络的鲁棒边界。CE 损失会使神经网络在决策边界处锐化以降低损失，而非将边界推向更鲁棒的位置。鲁棒的边界应保持在来自不同类别的样本中间，从而最大化从边界到样本的间隔。我们认为这是由于 CE 损失没有驻点所致。本文提出了一系列新的损失函数，称为驻点（SP）损失，它在正确分类的一侧至少有一个驻点。我们证明了 SP 损失可以在不损失太多精度的情况下保证鲁棒边界。使用 SP 损失时，需要更大的扰动才能生成对抗样本。我们通过应用 SP 损失证明，在多种对抗攻击下鲁棒性得到了提升。此外，SP 损失学习到的鲁棒边界在不平衡数据集上也表现良好。
引用
@article{arxiv.2302.09575,
title = {Stationary Point Losses for Robust Model},
author = {Weiwei Gao and Dazhi Zhang and Yao Li and Zhichang Guo and Ovanes Petrosian},
journal= {arXiv preprint arXiv:2302.09575},
year = {2023}
}
备注
13 pages, 12 figures