PRBench：标准化概率鲁棒性基准
计算机视觉与模式识别
2026-05-27 v3 机器学习
摘要
深度学习模型对难以察觉的扰动极其脆弱。大多数现有研究聚焦于对抗鲁棒性 (AR)，通过检查确定性对抗样本是否存在来评估模型在最坏情况下的鲁棒性。相比之下，概率鲁棒性 (PR) 采用统计视角，衡量在随机扰动下预测保持正确的概率。尽管 PR 被广泛视为 AR 的实用补充，但针对 PR 的专门训练方法仍相对不足，尽管近期进展不断。尽管已知少数针对 PR 的训练方法，我们识别出三个局限性：i 评估协议不可比；ii 虽然 AR 方法在 PR 上取得 anecdotal 增益，但与强 AT 基线的比较有限；iii 没有统一框架来比较这些方法的泛化能力。因此，我们引入 PRBench，第一个专门评估不同鲁棒性训练方法在 PR 方面所取得改进的基准。PRBench 使用全面的指标体系对比大多数常见的 AT 和 PR 目标训练方法，包括干净准确率、PR 和 AR 性能、训练效率以及泛化误差 (GE)。我们还对不同训练方法的 GE 在 PR 性能上的关系进行理论分析。PRBench 揭示的主要发现包括：AT 方法在提升 AR 和 PR 性能方面更加通用，能够在 diverse 的超参数设置下实现改进；而 PR 目标训练方法持续产生更低的 GE 和更高的干净准确率。一个包含 229 个训练模型的排行榜，覆盖 7 个数据集和 10 种模型架构，已公开于 https://wellzline.github.io/PRBenchLeaderboard/。
引用
@article{arxiv.2511.01724,
title = {PRBench: A Standardized Probabilistic Robustness Benchmark},
author = {Yi Zhang and Zheng Wang and Zhen Chen and Wenjie Ruan and Qing Guo and Siddartha Khastgir and Carsten Maple and Xingyu Zhao},
journal= {arXiv preprint arXiv:2511.01724},
year = {2026}
}