通过频域流形对抗增强提升模型泛化能力
计算机视觉与模式识别
2024-06-11 v3
摘要
当训练数据和测试数据具有不同的底层分布时，深度神经网络可能会出现性能显著下降。尽管模型对分布外（OOD）数据的泛化能力十分重要，但 SOTA 模型在 OOD 数据上的准确率可能会急剧下降。近期工作表明，常规或离流形对抗样本作为数据增强的一种特例，可用于提升 OOD 泛化能力。受此启发，我们在理论上证明了流形对抗样本能更好地有利于 OOD 泛化。然而，生成流形对抗样本并非易事，因为真实流形通常很复杂。为了解决这个问题，我们提出了一种新方法，即通过小波模块利用对抗样本增强数据（Augmenting data with Adversarial examples via a Wavelet module, AdvWavAug），这是一种易于实现的流形对抗数据增强技术。具体而言，我们将良性图像投影到小波域。在小波变换稀疏特性的辅助下，我们可以在估计的数据流形上修改图像。我们基于 AdvProp 训练框架进行对抗增强。在不同模型和不同数据集（包括 ImageNet 及其扭曲版本）上的大量实验表明，我们的方法能提升模型泛化能力，尤其是在 OOD 数据上。通过将 AdvWavAug 集成到训练过程中，我们在一些近期基于 Transformer 的模型上取得了 SOTA 结果。
引用
@article{arxiv.2302.14302,
title = {Improving Model Generalization by On-manifold Adversarial Augmentation in the Frequency Domain},
author = {Chang Liu and Wenzhao Xiang and Yuan He and Hui Xue and Shibao Zheng and Hang Su},
journal= {arXiv preprint arXiv:2302.14302},
year = {2024}
}