在无标签的标签偏移下估计校准误差

面对数据集偏移，模型校准在确保机器学习系统的可靠性方面发挥着关键作用。校准误差（CE）是预测概率与分类器准确率之间对齐程度的指标。虽然先前的工作深入探讨了数据集偏移对校准的影响，但现有的 CE 估计器假设可以访问目标域的标签，而在实践中这通常是不可用的，即当模型被部署和使用时。本研究针对这一具有挑战性的场景，提出了一种在标签偏移下的新颖 CE 估计器，其特征是边缘标签分布 $p(Y)$ 发生变化，而源分布和目标分布之间的条件分布 $p(X|Y)$ 保持不变。我们的贡献是一种方法，通过对有标签的源分布进行重要性重加权，提供了相对于偏移目标分布的一致且渐近无偏的 CE 估计。在不同条件和标签偏移强度下的多种真实世界数据集上的实证结果，证明了所提出估计器的有效性和可靠性。