面向对抗训练的鲁棒权重扰动
机器学习
2022-05-31 v1
摘要
过拟合广泛存在于深度网络的对抗鲁棒训练中。一种有效的补救是对抗权重扰动，其在网络训练时通过对抗样本上最大化分类损失来注入最坏情况权重扰动。对抗权重扰动有助于减小鲁棒泛化差距；然而，它也会削弱鲁棒性提升。因此，一个调节权重扰动的准则对于对抗训练至关重要。本文中，我们提出这样一个准则，即用于约束扰动的损失平稳条件（LSC）。借助 LSC，我们发现对具有较小分类损失的对抗数据施加权重扰动以消除鲁棒过拟合是必要的。对具有较大分类损失的对抗数据施加权重扰动则无必要，甚至可能导致较差的鲁棒性。基于这些观察，我们提出一种鲁棒扰动策略来约束权重扰动的程度。该扰动策略防止深度网络过拟合，同时避免过量权重扰动的副作用，显著提升了对抗训练的鲁棒性。大量实验证明了所提方法相对于最先进（SOTA）对抗训练方法的优越性。
引用
@article{arxiv.2205.14826,
title = {Robust Weight Perturbation for Adversarial Training},
author = {Chaojian Yu and Bo Han and Mingming Gong and Li Shen and Shiming Ge and Bo Du and Tongliang Liu},
journal= {arXiv preprint arXiv:2205.14826},
year = {2022}
}
备注
IJCAI2022