GradAug：一种用于深度神经网络的新正则化方法
计算机视觉与模式识别
2020-10-14 v2
摘要
我们提出了一种新的正则化方法，以缓解深度神经网络中的过拟合。其核心思想是在训练过程中，利用随机变换的训练样本来正则化一组子网络，这些子网络源于对原始网络宽度的采样。因此，所提出的方法为网络的原始梯度引入了自引导扰动，故被称为梯度增强（GradAug）。我们证明，GradAug 可以帮助网络学习到泛化良好且更多样化的表示。此外，它易于实现，并可应用于各种结构和应用。GradAug 在 ImageNet 分类上将 ResNet-50 提升至 78.79% 的准确率，这是一个新的最先进精度。通过与 CutMix 结合，它进一步将性能提升至 79.67%，优于一系列高级训练技巧的组合。在 COCO 目标检测和实例分割上评估了其泛化能力，GradAug 显著超越了其他最先进方法。GradAug 对图像失真和 FGSM 对抗攻击也具有鲁棒性，并且在低数据量情况下非常有效。代码可在 https://github.com/taoyang1122/GradAug 获取。
引用
@article{arxiv.2006.07989,
title = {GradAug: A New Regularization Method for Deep Neural Networks},
author = {Taojiannan Yang and Sijie Zhu and Chen Chen},
journal= {arXiv preprint arXiv:2006.07989},
year = {2020}
}
备注
Accepted to NeurIPS 2020