交叉熵损失与低秩特征对对抗样本负有责任
机器学习
2019-01-25 v1 机器学习
摘要
最先进的神经网络易受对抗样本的攻击；它们可以轻易地将与训练和测试数据仅有不可感知差异的输入误分类。本工作中，我们确定交叉熵损失函数的使用以及训练数据的低秩特征对这些输入的存在负有责任。基于该观察，我们建议解决对抗样本问题需要重新思考交叉熵损失函数的使用，并寻找更适合于低秩特征最小化的替代方案。在此方向上，我们提出一种称为差分训练的的训练方案，其使用定义于来自相反类别的点特征之间差异上的损失函数。我们表明差分训练能够确保神经网络的决策边界与训练数据集中各点之间的较大间隔。这一更大间隔增加了翻转分类器预测所需的扰动量，并使寻找小扰动对抗样本变得更加困难。我们在CIFAR-10数据集的二分类任务上测试了差分训练，并证明其从根本上降低了能找到对抗样本的图像比例——不仅在训练数据集中，在测试数据集中也是如此。
引用
@article{arxiv.1901.08360,
title = {Cross-Entropy Loss and Low-Rank Features Have Responsibility for Adversarial Examples},
author = {Kamil Nar and Orhan Ocal and S. Shankar Sastry and Kannan Ramchandran},
journal= {arXiv preprint arXiv:1901.08360},
year = {2019}
}