这种预测器比另一种更有信息吗？一种决策理论比较

在许多实际应用中，模型提供者向下游决策者提供概率预测，以用于在多样化的收益目标下进行决策。提供者可能访问多个预测模型，每种模型可能都未校准，必须选择在何处部署以最大化预测对下游决策的有用性。一个中心性挑战是：当 neither 保证被校准时，以及相关决策任务可能在不同用户和情境下不同时，如何对两个预测器进行有意义的比较？为此，我们第一个贡献引入了两个预测器之间信息差的概念，定义为一个预测器在所有决策任务中相对于另一个预测器提供的最大归一化收益优势。我们的框架严格地概括了几个现有概念：它包含 U-校准和校准决策损失，这些方法将未校准的预测器与其校准后版本进行比较；它在两个预测器都完美校准时恢复 Blackwell 信息性。我们的第二个贡献是信息差的对偶特征描述，为自然的信息度量提供了基础，可视为地球运输距离 (earth mover's distance) 两个预测分布之间较为宽松的变体。我们表明，该度量满足自然的要求：它是完备的，是 sound 的，并且可以在仅访问预测的设置下进行样本高效估计。我们用 LLM 基预测器在真实世界预测任务上的实验补充了理论，表明信息差为传统指标提供了更具决策相关性的替代方案，并为评估 ad hoc 校准后处理对下游决策有用性的原则性视角提供了方法。