关于凸损失与01损失模型之间对抗样本的可迁移性
机器学习
2020-07-31 v2 机器学习
摘要
在存在异常值的情况下，01损失比凸损失模型产生不同且更准确的边界。边界的差异是否会导致对抗样本在01损失和凸模型之间不可迁移？我们在本文中通过研究线性01损失和凸（铰链）损失模型之间，以及具有符号激活和01损失的双层神经网络与具有sigmoid激活和逻辑损失的双层神经网络之间的对抗样本可迁移性，进行了实证探索。我们首先表明，与凸模型之间相比，白盒对抗样本在凸损失和01损失之间以及01损失模型之间的迁移效果不佳。由于这种不可迁移性，我们看到凸替代模型的黑盒攻击对01损失模型的效果不如对凸模型。有趣的是，我们还看到01损失替代模型攻击对凸模型和01损失模型都无效，这很可能是由于01损失模型的非唯一性。我们通过示例直观地展示了异常值的存在如何导致01损失和凸损失模型之间的决策边界不同，进而产生不可迁移的对抗样本。确实，我们在MNIST上看到，对抗样本在01损失和凸模型之间的迁移比在CIFAR10和ImageNet上更容易，而CIFAR10和ImageNet可能包含异常值。我们通过示例直观地展示了01损失的非连续性如何使对抗样本在双层神经网络中不可迁移。我们将CIFAR10特征离散化以更像MNIST，发现这并没有提高可迁移性，从而表明由异常值导致的不同边界更可能是不可迁移的原因。由于这种不可迁移性，我们展示了具有01损失的双层符号激活网络可以达到与简单卷积网络相当的鲁棒性。
引用
@article{arxiv.2006.07800,
title = {On the transferability of adversarial examples between convex and 01 loss models},
author = {Yunzhe Xue and Meiyan Xie and Usman Roshan},
journal= {arXiv preprint arXiv:2006.07800},
year = {2020}
}