距离对于改进协变量偏移下性能估计的重要性
计算机视觉与模式识别
2025-04-11 v1 机器学习
摘要
协变量偏移下的性能估计是安全AI模型部署的关键组成部分，尤其是对于敏感应用场景。近来，人们提出了若干解决方案来解决该问题，其中大多数利用模型预测或softmax置信度来推导准确率估计。然而，在数据集偏移下，如果样本距离训练分布过远，置信度分数可能会变得校准不良。在这项工作中，我们表明，考虑测试样本到其期望训练分布的距离，可以显著改进协变量偏移下的性能估计。具体而言，我们引入了一种“距离检查”来标记那些距离期望分布过远的样本，从而避免在准确率估计步骤中依赖其不可靠的模型输出。我们在13个图像分类任务上展示了该方法的有效性，涵盖了广泛的天然与合成分布偏移以及数百个模型，相对于所有任务上最佳基线的中位相对MAE改进为27%，并在13个任务中的10个上取得了SOTA性能。我们的代码公开于 https://github.com/melanibe/distance_matters_performance_estimation。
引用
@article{arxiv.2308.07223,
title = {Distance Matters For Improving Performance Estimation Under Covariate Shift},
author = {Mélanie Roschewitz and Ben Glocker},
journal= {arXiv preprint arXiv:2308.07223},
year = {2025}
}
备注
Accepted to ICCV Workshop on Uncertainty Quantification for Computer Vision 2023