样本外预测中聚合推断的模型验证
统计方法学
2024-04-15 v3
摘要
对新样本的泛化是统计建模的基本理由。为此，模型验证尤为重要，但近期调查推断方面的工作表明，简单聚合个体预测分数并不能很好地衡量总体聚合估计的分数。本文解释了这一现象发生的原因，提出了两个专门为此问题设计的评分度量，并以三种不同方式展示了它们的用途。我们表明，尽管这些评分度量低估了分数的幅度，但与真实分数相比，它们能正确地对模型进行排序。我们通过调查研究中的一个问题进行了演示，其中多级回归与后分层（MRP）已被广泛用于校正便利样本和低响应率调查，以进行总体和子总体估计。
引用
@article{arxiv.2312.06334,
title = {Model validation for aggregate inferences in out-of-sample prediction},
author = {Lauren Kennedy and Aki Vehtari and Andrew Gelman},
journal= {arXiv preprint arXiv:2312.06334},
year = {2024}
}