预测效度：评价指标还是欺骗面纱？
应用统计
2009-08-20 v1 统计方法学
摘要
ETS 近期发布了 GRE 预测研究生累积 GPA 效度的新估计值。这些估计值平均在 0.35 左右——是先前多位独立研究者报告值的两倍。本文第一部分表明，这一意外发现可归因于一种有缺陷的方法论，该方法倾向于夸大多重相关系数的估计值，尤其是那些总体值接近零的估计值。其次，本文讨论了因范围限制而对效度估计值进行向上校正的问题。研究表明，这些校正依赖于数据很少满足的假设。最后，本文更广泛地论证，传统的以相关和方差为表述方式的测验理论不仅不必要地抽象，而且更关键的是，它是不完整的，因为测验的实际效用不仅取决于其效度，还取决于基础率和录取配额。一种更直接、更具结论性的衡量测验效用的方法涉及误分类率，并且完全摒弃了有问题的假设和事后“校正”。将这种方法应用于 GRE 后发现：(1) GRE 歧视种族和经济上的少数群体；(2) 它常常比纯粹随机的录取政策产生更多的错误决策。
引用
@article{arxiv.0908.2804,
title = {Predictive validities: figures of merit or veils of deception?},
author = {Peter H. Schonemann and Moritz Heene},
journal= {arXiv preprint arXiv:0908.2804},
year = {2009}
}