自竞争神经网络

深度神经网络(DNNs)已在诸多应用的分类问题精度上取得提升。训练DNN的挑战之一是需要以丰富的数据集喂入以避免过拟合并提高精度。提升DNN泛化能力的一种方法是用新合成的对抗样本扩充训练数据。近来，研究者广泛提出数据增强方法。本文中，我们生成对抗样本以细化每类的吸引域(DoAs)。该方法中，我们在每一阶段使用由原始及生成的对抗数据（截至该阶段）学到的模型来操纵原始数据，使其对DNN显得复杂。随后DNN用扩充数据重新训练，并再次生成对其自身难以预测的对抗数据。由于DNN通过自我竞争（生成困难样本并学习之）来提升精度，该技术称为自竞争神经网络(SCNN)。为生成此类样本，我们将问题表述为优化任务，其中网络权重固定，并使用基于梯度下降的方法合成位于其真实标签与最近错误标签边界上的对抗样本。实验结果表明，使用SCNN的数据增强能显著提升原始网络精度。例如，我们将以MNIST数据集1000个有限训练数据训练的CNN精度从94.26%提升至98.25%。