OODRobustBench：分布偏移下对抗鲁棒性的基准与大规模分析
机器学习
2024-06-05 v2 计算机视觉与模式识别
摘要
现有工作在提升对抗鲁棒性方面取得了很大进展，但通常仅在与训练数据同分布的数据上测试其方法，即分布内（ID）测试。因此，这种鲁棒性在输入分布偏移下（即分布外（OOD）测试）如何泛化尚不清楚。这一忽视令人担忧，因为此类分布偏移在方法实际部署时不可避免。为解决这个问题，我们提出一个名为OODRobustBench的基准，利用23种数据集级偏移（即输入分布的自然偏移）和6种威胁级偏移（即未预见的对抗威胁模型）来全面评估OOD对抗鲁棒性。OODRobustBench用于通过60.7K次对抗评估来评测706个鲁棒模型。这一大规模分析表明：1）对抗鲁棒性存在严重的OOD泛化问题；2）ID鲁棒性与OOD鲁棒性呈强正线性相关。后者使得能够从ID鲁棒性预测OOD鲁棒性。我们随后预测并验证现有方法不太可能实现高OOD鲁棒性。因此需要新方法来取得超越我们预测的OOD鲁棒性。为促进这些方法的发展，我们调研了广泛的技术并确定了若干有前景的方向。代码和模型见：https://github.com/OODRobustBench/OODRobustBench。
引用
@article{arxiv.2310.12793,
title = {OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift},
author = {Lin Li and Yifei Wang and Chawin Sitawarin and Michael Spratling},
journal= {arXiv preprint arXiv:2310.12793},
year = {2024}
}
备注
ICML2024, and ICLR2024 DMLR workshop