GAT：具有帕累托最优辅助任务的引导式对抗训练
计算机视觉与模式识别
2023-05-26 v2 密码学与安全
机器学习
摘要
尽管利用额外训练数据来提高对抗鲁棒性已得到确立，但这会带来不可避免的数据收集成本和训练模型的繁重计算开销。为了减轻这些成本，我们提出了引导式对抗训练(GAT)，这是一种在有限训练数据集下利用辅助任务的新型对抗训练技术。我们的方法在对抗训练的极小极大优化过程中将单任务模型扩展为多任务模型，并通过跨多任务的梯度曲率正则化来驱动损失优化。GAT 利用两类辅助任务：标签自动生成的自监督任务，以及由人类专家提供额外标签的领域知识任务。在实验中，GAT 将 CheXpert 医学成像数据集的鲁棒 AUC 从 50% 提高到 83%；在 CIFAR-10 上，GAT 优于八种最先进的对抗训练方法，并使用 Resnet-50 实现了 56.21% 的鲁棒准确率。总体而言，我们证明了引导式多任务学习是进一步推进模型鲁棒性边界的一种可行且有前景的途径。
引用
@article{arxiv.2302.02907,
title = {GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks},
author = {Salah Ghamizi and Jingfeng Zhang and Maxime Cordy and Mike Papadakis and Masashi Sugiyama and Yves Le Traon},
journal= {arXiv preprint arXiv:2302.02907},
year = {2023}
}