缓解数据不平衡对对抗训练的影响
机器学习
2023-12-05 v2 密码学与安全
计算机视觉与模式识别
摘要
在本文中，我们研究在服从长尾分布的数据集上进行对抗训练，这一场景具有实际意义但在以往工作中鲜有探索。与在平衡数据集上的常规对抗训练相比，该过程陷入生成不均匀对抗样本（AEs）与特征嵌入空间不平衡的困境，导致所得模型在尾部数据上表现出较低的鲁棒性与准确率。为应对此问题，我们从理论层面分析了在长尾数据集上训练模型的鲁棒风险下界，以明确解决上述困境的关键挑战。基于此，我们提出一种新的对抗训练框架——再平衡对抗训练（REAT）。该框架包含两个组件：（1）受有效数量启发的新训练策略，引导模型生成更平衡且信息更丰富的 AEs；（2）精心构造的惩罚函数，以迫使特征空间令人满意。在不同数据集与模型结构上的评估结果证明，REAT 能有效增强模型鲁棒性并保持模型的干净准确率。代码见 https://github.com/GuanlinLee/REAT。
引用
@article{arxiv.2307.10205,
title = {Alleviating the Effect of Data Imbalance on Adversarial Training},
author = {Guanlin Li and Guowen Xu and Tianwei Zhang},
journal= {arXiv preprint arXiv:2307.10205},
year = {2023}
}