在多级回归与事后分层（MRP）工作流中使用留一交叉验证（LOO）：一个警示故事
统计方法学
2022-09-07 v1
摘要
近几十年来，多级回归与事后分层（MRP）在总体推断中的流行度激增。然而，估计的有效性可能依赖于模型的细节，且目前关于验证的研究很少。我们探讨如何使用留一交叉验证（LOO）来比较用于 MRP 的贝叶斯模型。我们研究了 LOO 的两种近似计算：Pareto 平滑重要性采样（PSIS-LOO）与一种调查加权替代方案（WTD-PSIS-LOO）。利用两种模拟设计，我们考察了这两个准则在预测总体与小区域层面估计量时，能多准确地恢复模型优度的正确排序。首先关注变量选择，我们发现 PSIS-LOO 与 WTD-PSIS-LOO 均未能正确恢复 MRP 总体估计量的模型排序（尽管两个准则都正确识别了最优与最差模型）。当考虑小区域估计时，不同小区域的最优模型不同，突显了 MRP 验证的复杂性。当考虑不同先验时，模型排序在较小区域层面似乎略好。这些发现表明，尽管不算糟糕，基于 PSIS-LOO 的排序技术可能不适合用于评估 MRP 作为一种方法。我们认为这是由于 MRP 的聚合阶段，其中个体层面的预测误差被平均掉。这些结果表明，在实践中，基于 PSIS-LOO 的模型验证工具需要谨慎使用，且在验证 MRP 作为一种方法时可能无法传达全部情况。
引用
@article{arxiv.2209.01773,
title = {Using leave-one-out cross-validation (LOO) in a multilevel regression and poststratification (MRP) workflow: A cautionary tale},
author = {Swen Kuh and Lauren Kennedy and Qixuan Chen and Andrew Gelman},
journal= {arXiv preprint arXiv:2209.01773},
year = {2022}
}
备注
21 pages + 7 pages of appendix, 13 figures