软最大概率如何告知不同测试条件下的分类器排序
机器学习
2024-06-17 v1 计算机视觉与模式识别
摘要
本工作旨在开发一种准确衡量各种分类器在其测试于非独立分布 (OOD) 数据时的性能排序的度量标准。我们首先演示，传统不确定性度量，尤其是最大软最大预测概率，在预测某些 OOD 情境下的模型泛化方面具有内在实用性。基于此洞见，我们引入一种新度量称为 Softmax Correlation (SoftmaxCorr)，其计算来自软最大输出向量在未标注测试数据集上的类别-类别相关矩阵与代表理想类别相关性的预定义参考矩阵之间的余弦相似性。预测与参考矩阵高度吻合的程度表明，该模型在所有类别上都能提供自信且一致的预测，反映最小的不确定性和混淆。通过对包括 ImageNet、CIFAR-10 和 WILDS 在内的多个数据集进行严格评估，我们确认 SoftmaxCorr 在准确预测模型在旁在分布 (ID) 和 OOD 设置下的性能方面具有预测有效性。此外，我们讨论了该新提出度量的局限性，并指出未来研究的方向。
关键词
引用
@article{arxiv.2406.09908,
title = {What Does Softmax Probability Tell Us about Classifiers Ranking Across Diverse Test Conditions?},
author = {Weijie Tu and Weijian Deng and Liang Zheng and Tom Gedeon},
journal= {arXiv preprint arXiv:2406.09908},
year = {2024}
}
备注
TMLR 2024 (https://openreview.net/forum?id=vtiDUgGjyx)