仅用锐度感知最小化即可提升对抗鲁棒性
机器学习
2023-07-04 v2 人工智能
摘要
锐度感知最小化（Sharpness-Aware Minimization, SAM）是一种通过正则化损失锐度来提升泛化能力的方法。在本文中，我们在对抗鲁棒性的背景下探索 SAM。我们发现，与标准训练相比，仅使用 SAM 即可在不牺牲干净样本精度的前提下获得优越的对抗鲁棒性，这是一个出乎意料的好处。我们还讨论了 SAM 与对抗训练（adversarial training, AT）——一种提升 DNN 对抗鲁棒性的流行方法——之间的关系。具体而言，我们表明 SAM 与 AT 在扰动强度上存在差异，导致了不同的精度与鲁棒性权衡。我们在一个简化模型中为这些论断提供了理论证据。最后，尽管 AT 存在干净样本精度下降和计算开销的问题，我们建议在满足特定要求时，SAM 可被视为 AT 的轻量级替代方案。代码见 https://github.com/weizeming/SAM_AT。
引用
@article{arxiv.2305.05392,
title = {Sharpness-Aware Minimization Alone can Improve Adversarial Robustness},
author = {Zeming Wei and Jingyu Zhu and Yihao Zhang},
journal= {arXiv preprint arXiv:2305.05392},
year = {2023}
}
备注
ICML 2023 AdvML-Frontiers Workshop