基于 0-1 损失的鲁棒二分类
机器学习
2020-02-11 v1 机器学习
摘要
与凸损失函数相比，0-1 损失对离群值鲁棒且对含噪数据具有容忍性。我们猜想 0-1 损失也可能对对抗攻击更具鲁棒性。为从经验上研究这一点，我们为线性 0-1 损失分类器和单隐藏层 0-1 损失神经网络开发了随机坐标下降算法。由于梯度的缺失，我们在固定轮数下对数据的随机子集迭代更新坐标。我们表明我们的算法速度快，且在多个图像基准上的二分类准确率可与线性支持向量机和 logistic 损失单隐藏层网络媲美，从而确立我们的方法在测试准确率上与凸损失相当。随后我们对它们施加在这些相同图像基准上精确训练的替代模型黑盒攻击，发现它们比凸损失对应模型更鲁棒。在扰动为 0.0625 的 CIFAR10 类别 0 与 1 的二分类任务上，我们看到 MLP01 网络准确率损失 27%，而 MLP-logistic 对应网络损失 83%。类似地，在 STL10 和 ImageNet 的类别 0 与 1 二分类上，MLP01 网络分别损失 21% 和 20%，而 MLP-logistic 分别损失 67% 和 45%。在易于分离的数据集 MNIST 上，我们发现 MLP01 与 MLP-logistic 相当，并通过仿真展示我们的 0-1 损失求解器为何在那里鲁棒性较低。随后我们为线性 0-1 损失求解器提出对抗训练，显著提升了其在 MNIST 及所有其他数据集上的鲁棒性，并保持了干净测试准确率。最后我们展示了我们的方法在抵御交通标志和人脸识别对抗攻击中的实际应用。我们讨论了以 0-1 损失发起的攻击、替代模型准确率，以及若干未来方向如多分类、0-1 损失卷积和进一步的对抗训练。
引用
@article{arxiv.2002.03444,
title = {Robust binary classification with the 01 loss},
author = {Yunzhe Xue and Meiyan Xie and Usman Roshan},
journal= {arXiv preprint arXiv:2002.03444},
year = {2020}
}