预测评估与遗憾和校准的关系
机器学习
2025-07-08 v3 机器学习
摘要
机器学习关乎预测。当预测附带评估指标时，预测才变得有用。什么是合理的评估指标？现有评估指标之间有何关联？在这项工作中，我们提供了一个通用结构，该结构将许多当前使用的评估指标纳入一个二维层次结构中，例如外部和交换遗憾、损失分数和校准分数。该框架将这些评估指标嵌入到基于单实例的预测与观测比较的大集合中，这些比较遵循一个我们称之为“公平性”的合理预测评估元准则。特别地，该框架阐明了遗憾型和校准型评估指标之间的关系，表明它们在评估能力上具有理论等价性，但在所得分数上实际不可比。
引用
@article{arxiv.2401.14483,
title = {Forecast Evaluation and the Relationship of Regret and Calibration},
author = {Rabanus Derr and Robert C. Williamson},
journal= {arXiv preprint arXiv:2401.14483},
year = {2025}
}