面向对抗训练的高效且有效的数据增强策略
机器学习
2022-10-28 v1 计算机视觉与模式识别
摘要
众所周知，与标准训练相比，深度神经网络的对抗训练需要显著更多的数据。此外，在图像分类器的标准训练中带来显著增益的复杂数据增强方法（如 AutoAugment）在对抗训练中并不成功。我们首先通过将训练过程中的增强视为一个领域泛化问题来解释这种对比行为，并进一步提出基于多样化增强的联合对抗训练（DAJAT），以在对抗训练中有效使用数据增强。我们的目标是通过在训练期间结合使用简单和复杂增强以及独立的批归一化层，来处理增强训练数据集多样性与使用接近测试分布的数据进行训练这两个相互冲突的目标。我们进一步利用流行的 Jensen-Shannon 散度损失来鼓励对多样化增强的联合学习，从而使简单增强能够指导复杂增强的学习。最后，为了提高所提方法的计算效率，我们提出并利用了一种两步防御方法，即递增约束对抗训练（ACAT），该方法使用递增的 epsilon 调度和权重空间平滑来防止梯度掩蔽。所提出的方法 DAJAT 在 RobustBench 排行榜上的 ResNet-18 和 WideResNet-34-10 上，与现有方法相比，实现了显著更好的鲁棒性-准确率权衡。实现 DAJAT 的代码可在以下链接获取：https://github.com/val-iisc/DAJAT。
引用
@article{arxiv.2210.15318,
title = {Efficient and Effective Augmentation Strategy for Adversarial Training},
author = {Sravanti Addepalli and Samyak Jain and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2210.15318},
year = {2022}
}
备注
NeurIPS 2022