英国 REF 中计量指标与同行评审一致性之系统分析
数字图书馆
2019-03-21 v2
摘要
在进行国家研究评估时，一些国家依赖引文计量指标，而其他国家（如英国）主要使用同行评审。在有影响力的《度量潮汐》报告中，发现英国卓越研究框架（REF）中计量指标与同行评审之间的一致性较低。然而，早期研究观察到 REF 中计量指标与同行评审之间的一致性要高得多，并主张使用计量指标。这表明在关于计量指标与同行评审一致性的讨论中存在相当大的模糊性。我们通过考虑四个重要方面来厘清这一讨论：（1）分析的聚合层次；（2）采用规模依赖或规模独立的视角；（3）不同一致性度量方法的适用性；（4）同行评审中的不确定性。在 REF 的背景下，我们认为计量指标与同行评审之间的一致性应在机构层面而非论文层面进行评估。规模依赖和规模独立两种视角在 REF 中均相关。相关性的解释可能存在问题，因此作为替代，我们使用基于计量指标与同行评审之间绝对或相对差异的一致性度量。为了解同行评审中的不确定性，我们依赖一个模型对同行评审结果进行自助法抽样。我们得出结论：特别是在物理学、临床医学和公共卫生领域，计量指标与同行评审相当一致，并可能提供替代同行评审的方案。
引用
@article{arxiv.1808.03491,
title = {Systematic analysis of agreement between metrics and peer review in the UK REF},
author = {Vincent Traag and Ludo Waltman},
journal= {arXiv preprint arXiv:1808.03491},
year = {2019}
}