用于缓解自然精度退化的拓扑保持对抗训练
计算机视觉与模式识别
2024-08-20 v2 机器学习
摘要
尽管对抗训练在提升神经网络鲁棒性方面有效，却面临自然精度退化问题，即自然样本上的精度显著下降。本研究通过定量与定性实验揭示，自然精度退化与自然样本在表示空间中拓扑结构的破坏高度相关。基于该观察，我们提出拓扑保持对抗训练（TRAIN），通过在对抗训练中从仅在自然样本上训练的标准模型保持自然样本的拓扑结构，以缓解该问题。作为额外正则化项，我们的方法可与多种主流对抗训练算法结合，兼顾双方优势。在 CIFAR-10、CIFAR-100 与 Tiny ImageNet 上的大量实验表明，我们所提方法在大多数情况下相较多种强基线取得一致且显著的提升。具体而言，在无额外数据下，TRAIN 在自然精度上提升达 8.86%，在鲁棒精度上提升达 6.33%。
引用
@article{arxiv.2311.17607,
title = {Topology-preserving Adversarial Training for Alleviating Natural Accuracy Degradation},
author = {Xiaoyue Mi and Fan Tang and Yepeng Weng and Danding Wang and Juan Cao and Sheng Tang and Peng Li and Yang Liu},
journal= {arXiv preprint arXiv:2311.17607},
year = {2024}
}
备注
BMVC 2024; Code will be released on https://github.com/KululuMi/TRAIN