固定方差贝叶斯正态模型留一交叉验证估计量方差的无偏估计器
统计方法学
2022-02-16 v2
摘要
当使用留一交叉验证（LOO-CV）评估和比较模型时，估计量的不确定性通常通过采样分布方差来评估。考虑不确定性十分重要，因为在某些情况下估计量的变异性可能很高。Bengio 与 Grandvalet（2004）的一个重要结论指出，不可能构造出适用于任意效用或损失度量及任意模型的通用无偏方差估计器。我们证明，针对特定的预测性能度量与模型，有可能构造无偏估计器。我们展示了在使用期望对数逐点预测密度（elpd）效用得分时，针对固定模型方差的贝叶斯正态模型的采样分布方差无偏估计器。该示例表明，有可能获得改进的、针对特定问题的无偏估计器，以评估 LOO-CV 估计中的不确定性。
引用
@article{arxiv.2008.10859,
title = {Unbiased estimator for the variance of the leave-one-out cross-validation estimator for a Bayesian normal model with fixed variance},
author = {Tuomas Sivula and Måns Magnusson and Aki Vehtari},
journal= {arXiv preprint arXiv:2008.10859},
year = {2022}
}
备注
21 pages, 1 figure. Communications in Statistics - Theory and Methods (2022)