AugMax:用于鲁棒训练的随机增强的对抗式组合
计算机视觉与模式识别
2022-01-04 v3 机器学习
摘要
数据增强是一种简单而有效的提升深度神经网络(DNNs)鲁棒性的方法。多样性和难度是数据增强实现鲁棒性的两个互补维度。例如,AugMix 探索一组多样化增强的随机组合以增强更广的覆盖,而对抗训练生成对抗性难样本以发现弱点。受此启发,我们提出了一个称为 AugMax 的数据增强框架,以统一多样性和难度两个方面。AugMax 首先随机采样多个增强算子,然后学习所选算子的对抗式混合。作为一种更强形式的数据增强,AugMax 导致显著增强的输入分布,使模型训练更具挑战性。为解决此问题,我们进一步设计了一个解耦归一化模块,称为 DuBIN(双批-实例归一化),以解耦由 AugMax 引起的逐实例特征异质性。实验表明,AugMax-DuBIN 显著提升了分布外鲁棒性,在 CIFAR10-C、CIFAR100-C、Tiny ImageNet-C 和 ImageNet-C 上分别优于先前方法 3.03%、3.49%、1.82% 和 0.71%。代码与预训练模型可用:https://github.com/VITA-Group/AugMax。
引用
@article{arxiv.2110.13771,
title = {AugMax: Adversarial Composition of Random Augmentations for Robust Training},
author = {Haotao Wang and Chaowei Xiao and Jean Kossaifi and Zhiding Yu and Anima Anandkumar and Zhangyang Wang},
journal= {arXiv preprint arXiv:2110.13771},
year = {2022}
}
备注
NeurIPS, 2021