以刊评文：REF 的“研究质量”中有多少实为“期刊声望”？

卓越研究框架（REF）是一项面向全英国的、对高校已发表研究质量的周期性评估。最近一次 REF 在 2014 年，下一次将在 2021 年。REF2014 的公开结果包含每个评估单元（通常为一个大学院系）的分类“质量概况”，报告该单元提交的 REF 研究成果被评定为四个质量等级（标为 4*、3*、2* 和 1*）中每一等级的百分比。同样公开的还有提交至 REF2014 的原始材料，其中包含——针对每个评估单元——所提交 REF 研究成果的出版信息。在本文中，我们探讨如下问题：研究成果的 REF 质量概况可在多大程度上归因于发表这些（大部分）成果的期刊？数据来自 REF2014 公开的提交材料与结果。主要统计挑战源于以下事实：REF 质量概况仅在整体评估单元的聚合层面可得：REF 专家组对每项个体研究成果的评估并未公开。因此我们的研究问题是一个“生态推断”问题，需在模型设定与方法论上格外审慎。分析基于 logit 模型，其中期刊特定参数通过先验“伪数据”正则化。我们提出了一种拟合劣度度量，用以衡量 REF 分数看似依赖于发表场所而非研究质量或机构层面差异的程度。给出了若干研究领域的结果。