快速传播更优：通过采样子网络加速单步对抗训练
计算机视觉与模式识别
2023-10-25 v1
摘要
对抗训练在构建抵御对抗样本的鲁棒模型方面已显示出前景。对抗训练的一个主要缺陷是由对抗样本生成带来的计算开销。为克服此限制，基于单步攻击的对抗训练已被探索。先前的工作从不同角度改进单步对抗训练，例如样本初始化、损失正则化和训练策略。它们几乎都将底层模型视为黑盒。在本工作中，我们提出利用模型内部构建模块以提升效率。具体而言，我们提出在训练期间动态采样轻量子网络作为代理模型。这样做可加速前向与反向传播，从而实现高效的对抗训练。此外，我们提供理论分析表明，通过采样子网络的单步对抗训练可提升模型鲁棒性。进一步地，我们提出一种新颖的采样策略，其中采样随层与迭代而变化。与先前方法相比，我们的方法不仅降低了训练成本，还取得了更好的模型鲁棒性。在一系列流行数据集上的评估证明了所提出的 FB-Better 的有效性。我们的代码已发布于 https://github.com/jiaxiaojunQAQ/FP-Better。
引用
@article{arxiv.2310.15444,
title = {Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks},
author = {Xiaojun Jia and Jianshu Li and Jindong Gu and Yang Bai and Xiaochun Cao},
journal= {arXiv preprint arXiv:2310.15444},
year = {2023}
}