有序伯努利变量观测值与期望值累积差异图
统计方法学
2020-07-20 v3 机器学习
机器学习
摘要
许多预测本质上具有概率性；例如，预测明天有降水，但概率仅为30%。在已知预测值与真实结果的情况下，“可靠性图”（也称为“校准图”）有助于检测和诊断预测与结果之间统计显著的偏差。经典的可靠性图基于对预测的观测值与期望值进行直方图统计；标准可靠性图的若干变体提议用宽度与分箱宽度相近的光滑卷积核的软核密度估计来替代硬直方图分箱。在所有情况下，一个自然出现的重要问题是：哪种宽度最佳（或者具有不同宽度的多幅图更好）？累积差异图不回答该问题，而是通过以图中割线的斜率直接展示误校准，从而在很大程度上规避了该问题。即便割线的恒定偏移无关紧要，斜率也易于以定量精度被感知。无需进行带任意核的分箱或核密度估计。
引用
@article{arxiv.2006.02504,
title = {Plots of the cumulative differences between observed and expected values of ordered Bernoulli variates},
author = {Mark Tygert},
journal= {arXiv preprint arXiv:2006.02504},
year = {2020}
}
备注
18 pages, 12 figures