预测大学排名中的同行评审与引文数据:一项大规模分析
数字图书馆
2018-05-23 v1
摘要
大多数基于绩效的研究资助系统(PRFS)借助同行评审与文献计量指标,这两种不同的方法有时被结合使用。在此类研究评估中反对使用指标的一个常见论点是,在论文层面上它们与同行评审判断的相关性较低。在本研究中,我们分析了在一项国家研究评估活动中接受同行评审的来自 154 所高等教育机构的 191,000 篇论文。我们将这些数据与指向原始论文的 695 万次引文相结合。我们表明,当基于引文的指标应用于机构或院系层面而非单篇论文层面时,可以观察到与同行评审判断出乎意料地高的相关性,在某些学科中可达 r <= 0.802, n = 37, p < 0.001。在基于引文数据的排名预测性能评估中,我们表明与先前工作相比可将平均排名预测误差降低 25%。这表明在机构层面上基于引文的指标与同行评审结果足够一致,可用于减轻国家评估活动中同行评审的总体负担,从而带来可观的成本节约。
关键词
引用
@article{arxiv.1805.08529,
title = {Peer review and citation data in predicting university rankings, a large-scale analysis},
author = {David Pride and Petr Knoth},
journal= {arXiv preprint arXiv:1805.08529},
year = {2018}
}
备注
12 pages, 7 tables, 2 figures. Submitted to TPDL2018