作为近似概率更新的预测模型重校准
统计方法学
2021-12-14 v1 统计理论
应用统计
统计理论
摘要
预测模型的输出通常通过使低级预测与在更高聚合层级定义的已知派生量相协调来进行例程重校准。例如，预测美国大选个体层面投票概率的模型可被调整，使其聚合结果与各州观测到的选票总数相匹配，从而产生校准更好的预测。在本研究札记中，我们为最常用的重校准策略之一——俗称的“logit shift（逻辑斯蒂偏移）”提供了理论基础。通常该策略被视作启发式优化问题（即寻找使聚合预测与目标总数之差最小的调整量），我们证明 logit shift 实际上为一项原则性但常在计算上不切实际的调整策略——即在目标总数条件下计算后验预测概率——提供了一种快速而准确的近似。在推导出近似质量的解析界后，我们使用蒙特卡洛模拟说明了该方法的准确性。模拟还证实了关于简单 logit shift 使用者可预期其表现最佳的情景的解析结果——即，当聚合目标由许多个体预测组成，且真实概率分布围绕 0.5 对称且集中时。
引用
@article{arxiv.2112.06674,
title = {Recalibration of Predictive Models as Approximate Probabilistic Updates},
author = {Evan T. R. Rosenman and Santiago Olivella},
journal= {arXiv preprint arXiv:2112.06674},
year = {2021}
}