评级与排名：巫术还是科学？
应用统计
2018-08-02 v2
摘要
综合指标通过使用权重来聚合一组变量，这些权重被理解为反映变量在指数中的重要性。在本文中，我们提议通过卡尔·皮尔逊的“相关比”来衡量现有综合指标中给定变量的重要性；我们将此度量称为“主效应”。由于社会经济变量是异方差且相关的，(相对)名义权重几乎从未与(相对)主效应匹配；我们提议用一个散度度量来总结它们的差异。我们进一步讨论了从名义权重到主效应的映射在多大程度上是可逆的。此分析应用于五个综合指标，包括人类发展指数和两个流行的大学表现排行榜。研究发现，在许多情况下，单个指标宣称的重要性与其主效应差异很大，并且数据相关结构常常阻止指标开发者获得宣称的重要性，即使在非负且总和为1的权重集合中修改名义权重也是如此。
引用
@article{arxiv.1104.3009,
title = {Ratings and rankings: Voodoo or Science?},
author = {Paolo Paruolo and Andrea Saltelli and Michaela Saisana},
journal= {arXiv preprint arXiv:1104.3009},
year = {2018}
}
备注
28 pages, 7 figures