对抗式自动增强
计算机视觉与模式识别
2019-12-25 v1 机器学习
机器学习
摘要
数据增强(DA)已被广泛用于改进深度神经网络训练中的泛化能力。近来,人工设计的数据增强已逐渐被自动学习的增强策略所取代。通过在精心设计的数据增强搜索空间中寻找最佳策略,AutoAugment 能够显著提升图像分类任务上的验证准确率。然而,该方法在计算上对于大规模问题并不实用。本文中,我们提出一种对抗式方法,得到一种计算代价可承受的方案,称为 Adversarial AutoAugment(对抗式自动增强),其能同时优化目标相关对象与增强策略搜索损失。增强策略网络试图通过生成对抗式增强策略来增大目标网络的训练损失,而目标网络可从更困难的样本中学习更具鲁棒性的特征以提升泛化能力。与先前工作不同,我们复用目标网络训练中的计算来进行策略评估,并省去了目标网络的重新训练。相比 AutoAugment,这在 ImageNet 上带来了约 12 倍的计算代价降低与 11 倍的时间开销缩短。我们在 CIFAR-10/CIFAR-100、ImageNet 上展示了我们方法的实验结果,并证明相较最先进方法(SOTA)有显著性能提升。在 CIFAR-10 上,我们取得了 1.36% 的 top-1 测试误差,这是当前性能最佳的单一模型。在 ImageNet 上,我们在无额外数据的情况下于 ResNet-50 上取得 79.40% 的 top-1 准确率、于 ResNet-50-D 上取得 80.00% 的领先性能。
引用
@article{arxiv.1912.11188,
title = {Adversarial AutoAugment},
author = {Xinyu Zhang and Qiang Wang and Jian Zhang and Zhao Zhong},
journal= {arXiv preprint arXiv:1912.11188},
year = {2019}
}
备注
ICLR2020