SAT：基于课程学习的损失平滑改进对抗训练
机器学习
2021-11-09 v3 密码学与安全
机器学习
摘要
对抗训练（AT）已成为训练鲁棒网络的常用选择。然而，它往往严重牺牲干净准确率以换取鲁棒性，并存在较大的泛化误差。为解决这些问题，我们提出平滑对抗训练（SAT），其由我们对损失Hessian矩阵特征谱的分析所指导。我们发现，课程学习——一种强调从“易”开始并逐步加大训练“难度”的方案——对于给定的难度度量能平滑对抗损失景观。我们给出了对抗环境下课程学习的一般表述，并基于最大Hessian特征值（H-SAT）与softmax概率（P-SA）提出了两种难度度量。我们证明，即便在较大扰动范数下SAT也能稳定网络训练，并使网络在比AT更优的干净准确率-鲁棒性权衡曲线上工作。相较于AT、TRADES及其他基线，这在干净准确率与鲁棒性上均带来显著提升。仅举数例：在CIFAR-100上，我们的最佳模型相较AT分别将正常准确率与鲁棒准确率提高了6%和1%；在Imagenette（ImageNet的十类子集）上，我们的模型在 normal 与鲁棒准确率上分别超越AT达23%与3%。
引用
@article{arxiv.2003.09347,
title = {SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing},
author = {Chawin Sitawarin and Supriyo Chakraborty and David Wagner},
journal= {arXiv preprint arXiv:2003.09347},
year = {2021}
}
备注
Published at AISec '21: Proceedings of the 14th ACM Workshop on Artificial Intelligence and Security. ACM DL link: https://dl.acm.org/doi/abs/10.1145/3474369.3486878