Fast AdvProp
计算机视觉与模式识别
2022-04-22 v1
摘要
对抗传播（AdvProp）是一种利用对抗样本提升识别模型的有效方法。然而，AdvProp 的训练速度极慢，主要原因在于：a) 生成对抗样本需要额外的正向和反向传播；b) 原始样本及其对抗样本均用于训练（即 2 数据）。本文提出 Fast AdvProp，大幅改进 AdvProp 中代价高昂的训练组件，使该方法几乎与常规训练一样廉价。具体而言，Fast AdvProp 的改进基于如下假设：利用对抗样本的解耦学习是性能提升的关键，而其他训练策略（例如成对的干净与对抗训练样本、多步对抗攻击器）可大幅简化。我们的实证结果表明，与常规训练基线相比，Fast AdvProp 能够在一系列视觉基准上进一步提升模型性能，且不带来额外训练成本。此外，我们的消融实验发现，Fast AdvProp 在更大模型下扩展性更好，与现有数据增强方法（即 Mixup 和 CutMix）兼容，并可轻松适配目标检测等其他识别任务。代码见：https://github.com/meijieru/fast_advprop。
引用
@article{arxiv.2204.09838,
title = {Fast AdvProp},
author = {Jieru Mei and Yucheng Han and Yutong Bai and Yixiao Zhang and Yingwei Li and Xianhang Li and Alan Yuille and Cihang Xie},
journal= {arXiv preprint arXiv:2204.09838},
year = {2022}
}
备注
ICLR 2022 camera ready version