预测质量的评估

Shannon定义了两个变量之间的互信息。我们说明了为什么变量与预测算法做出的预测之间的真实互信息不适合作为预测质量的度量，而表观Shannon互信息（ASI）是合适的；事实上，它是具有两个非常不同的理想属性列表的唯一预测质量度量，正如de Finetti和其他作者先前所示。然而，估计ASI的不确定性是一个困难的问题，因为$j(x,y)=\log\frac{Q_y(x)}{P(x)}$的个体值分布具有长且非对称的重尾。我们提出了一种贝叶斯建模方法用于$j(x,y)$的分布，从其后验分布可以推断ASI的不确定性。该方法基于狄利克雷混合的偏斜学生分布。我们通过一个用于预测前列腺癌复发时间的贝叶斯模型的数据说明了其使用。我们相信这种方法通常适用于大多数问题，在这些问题中推导$j(x,y)$样本的显式分布是不可行的，尽管精确的建模参数可能需要调整以适应特定情况。