误校准下的决策制定

基于机器学习的预测被用于为涉及个人的重大决定提供信息。我们应如何利用预测（例如心脏病发作风险）来指导下游的二分类决策（例如是否接受医疗程序）？当风险估计完全校准时，答案已众所周知：分类问题的代价结构诱导出最优处理阈值 $j^{\star}$。然而在实践中，一定程度的误校准不可避免，这引发了一个根本问题：应如何利用可能误校准的预测来指导二分类决策？我们形式化了一个自然的（无分布的）解概念：在预期误校准为 $\alpha$ 的情况下，我们建议使用阈值 $j$，该阈值在所有 $\alpha$-误校准预测器上最小化最坏情况后悔值，其中后悔值是指使用所讨论的阈值与使用事后最优阈值之间的临床效用差异。当误校准采用期望校准误差和最大校准误差度量时，我们给出了 $j$ 的闭式表达式，结果表明其确实不同于 $j^{\star}$（完全校准下的最优阈值）。我们在真实数据上验证了理论发现，表明存在一些自然情形，使用 $j$ 进行决策可提升临床效用。