针对不同训练数据模型在自然分布偏移下的有效鲁棒性
机器学习
2023-10-31 v2 计算机视觉与模式识别
摘要
“有效鲁棒性”衡量的是超出由分布内（ID）性能可预测的额外分布外（OOD）鲁棒性。现有的有效鲁棒性评估通常使用单一测试集（如ImageNet）来评估ID准确率。当评估在不同数据分布上训练的模型时，例如比较在ImageNet上训练的模型与在LAION上训练的零样本语言-图像预训练模型，这就成了问题。在本文中，我们提出一种新的评估指标来评估和比较在不同数据上训练的模型的有效鲁棒性。为此，我们控制覆盖所有被评估模型训练分布的多个ID测试集上的准确率。我们的新评估指标在存在不同训练数据模型时能更好地估计有效鲁棒性。它也可能解释先前工作中使用ImageNet作为唯一ID测试集所展现的零样本CLIP类模型令人惊讶的有效鲁棒性提升，而在我们的新评估下该提升减弱。包括交互式可视化在内的额外制品见 https://shizhouxing.github.io/effective-robustness。
引用
@article{arxiv.2302.01381,
title = {Effective Robustness against Natural Distribution Shifts for Models with Different Training Data},
author = {Zhouxing Shi and Nicholas Carlini and Ananth Balashankar and Ludwig Schmidt and Cho-Jui Hsieh and Alex Beutel and Yao Qin},
journal= {arXiv preprint arXiv:2302.01381},
year = {2023}
}
备注
NeurIPS 2023