预测器是否知道其自己的损失？
机器学习
2025-02-28 v1
摘要
给定预测器和损失函数，我们如何预测预测器在给定输入上所承担的损失？这是损失预测的问题，是预测器不确定性估计的关键计算任务。在分类设置中，预测器通常会预测标签分布，从而拥有其自身对所需损失的估计，即预测分布的熵。我们是否应该信任这个估计？换言之，预测器是否知道它知道什么以及不知道什么？在本文中，我们研究损失预测的理论基础。我们的主要贡献是建立了非平凡损失预测与某些多校准形式之间的紧密联系。多校准是一种多群体公平性概念，要求在可计算可识别子群上进行校准预测。形式地，我们表明，能够在预测器自身估计之上取得改进的损失预测器，将揭示多校准失效的证据，反之亦然。这意味着，非平凡损失预测的难度实际上等价于审计多校准。我们通过实验支持理论结果，显示预测器的多校准误差与训练损失预测器的有效性之间存在稳健的正相关性。
引用
@article{arxiv.2502.20375,
title = {When does a predictor know its own loss?},
author = {Aravind Gollakota and Parikshit Gopalan and Aayush Karan and Charlotte Peale and Udi Wieder},
journal= {arXiv preprint arXiv:2502.20375},
year = {2025}
}