校准度量的真实性

我们首次系统性地研究校准度量在顺序预测中的真实性。如果校准度量被称为真实的，即预测者（大致）通过预测给定先前结果分布的下一个结果的条件期望来最小化预期惩罚，那么预测者就不会被动机去利用系统进行恶意预测。真实性是校准度量的重要属性，确保预测者不会被动机去进行刻意的差励预测。这也是校准度量的关键需求，除典型要求（如可靠性和完备性）外，亦是必需的。我们对现有校准度量及其真实性进行了分类学整理。或许出乎意料的是，我们发现所有现有的校准度量都远非真实。也就是说，在现有的校准度量下，可实现多对数（甚至零）惩罚的简单分布存在，而真实的预测导致多项式惩罚。我们的主要贡献是引入一种新的校准度量，称为子抽样光滑校准误差（Subsampled Smooth Calibration Error, SSCE），在此度量下，真实的预测在常数乘子因子下是最优的。