扩展算力并非实现对抗鲁棒性的全部所需
机器学习
2023-12-21 v1 人工智能
密码学与安全
摘要
过去六年中，对抗鲁棒深度学习取得了显著进展。正如 RobustBench 基准测试中 CIFAR-10 数据集类别所示，在 对抗扰动下的准确率从 \citet{Madry2018Towards} 中的 44\% 提升至 \citet{peng2023robust} 中的 71\%。尽管令人印象深刻，但现有的最先进水平仍远不能令人满意。进一步观察到，性能最佳的模型通常是由工业实验室在巨大计算预算下对抗训练的非常大的模型。在本文中，我们旨在理解：“算力还能在多大程度上推动对抗鲁棒性的进展？”为了回答这个问题，我们推导了对抗鲁棒性的缩放定律，该定律可以在未来进行外推，以估计我们需要付出多少成本才能达到期望的鲁棒性水平。我们表明，增加对抗训练所需的 FLOPs 在性能提升方面并没有像标准训练那样带来同等程度的优势。此外，我们发现一些性能最佳的技术难以精确复现，表明它们对于训练设置中的微小变化不够鲁棒。我们的分析还揭示了未来研究中值得追求的方向。最后，我们将我们的基准测试框架（构建在 \texttt{timm}~\citep{rw2019timm} 之上）公开提供，以促进未来在高效鲁棒深度学习领域的分析。
引用
@article{arxiv.2312.13131,
title = {Scaling Compute Is Not All You Need for Adversarial Robustness},
author = {Edoardo Debenedetti and Zishen Wan and Maksym Andriushchenko and Vikash Sehwag and Kshitij Bhardwaj and Bhavya Kailkhura},
journal= {arXiv preprint arXiv:2312.13131},
year = {2023}
}