通过像素重加权对抗训练改善精度-鲁棒性权衡
计算机视觉与模式识别
2024-06-04 v1 机器学习
摘要
对抗训练使用对抗样本来训练模型，对抗样本是通过特定扰动修改的自然图像，旨在误导模型。这些扰动受预设扰动预算的约束，并均匀应用于图像中的每个像素。然而，在本文中，我们发现并非所有像素对对抗样本上的精度（即鲁棒性）和自然图像上的精度（即准确性）贡献相同。受此发现启发，我们提出了像素重加权对抗训练（PART），这是一种新框架，可部分降低影响力较小像素的，引导模型更多地关注影响其输出的关键区域。具体来说，我们首先使用类激活映射方法识别重要像素区域，然后在生成对抗样本时保持这些区域的扰动预算，同时降低其余区域的扰动预算。最后，我们使用这些像素重加权的对抗样本来训练模型。PART在CIFAR-10、SVHN和TinyImagenet-200上实现了准确性的显著提升，同时不损害鲁棒性，证明了在鲁棒分类中为不同像素区域分配不同权重的必要性。
引用
@article{arxiv.2406.00685,
title = {Improving Accuracy-robustness Trade-off via Pixel Reweighted Adversarial Training},
author = {Jiacheng Zhang and Feng Liu and Dawei Zhou and Jingfeng Zhang and Tongliang Liu},
journal= {arXiv preprint arXiv:2406.00685},
year = {2024}
}