双头对抗训练
机器学习
2021-04-23 v2 密码学与安全
计算机视觉与模式识别
摘要
深度神经网络（DNNs）已知易受对抗样本/攻击的影响，这引发了人们对其在安全关键应用中可靠性的担忧。已有许多防御方法被提出以训练抵抗对抗攻击的鲁棒 DNN，其中对抗训练迄今为止展示了最有前景的结果。然而，近期研究表明，在对抗训练的 DNN 中存在准确率与鲁棒性之间的固有权衡。本文提出一种新技术——双头对抗训练（DH-AT），以进一步改进现有对抗训练方法的鲁棒性。与现有的对抗训练改进变体不同，DH-AT 同时修改网络架构和训练策略以寻求更高的鲁棒性。具体而言，DH-AT 首先向网络的一个中间层附加第二个网络头（或分支），然后使用轻量卷积神经网络（CNN）聚合两个头的输出。训练策略也相应调整以反映两个头的相对重要性。我们在多个基准数据集上实证表明，DH-AT 能为现有对抗训练方法带来显著的鲁棒性提升。与最先进的对抗训练方法之一 TRADES 相比，我们的 DH-AT 在 PGD40 下鲁棒性提升 3.4%，在 AutoAttack 下提升 2.3%，并且干净准确率提升 1.8%。
引用
@article{arxiv.2104.10377,
title = {Dual Head Adversarial Training},
author = {Yujing Jiang and Xingjun Ma and Sarah Monazam Erfani and James Bailey},
journal= {arXiv preprint arXiv:2104.10377},
year = {2021}
}