评审专家如何将评价标准整合到其总体判断中？来自基金同行评审的证据

关于同行评审专家是否使用相同的评价标准以及他们如何将这些标准整合到总体判断中，我们知之甚少。因此，本研究基于理论视角和规范性立场提出了两种评估风格。根据“个案处理”风格，评审专家使用许多且不同的标准，根据个案情况对标准进行加权，并以复杂、非机械的方式将标准整合到其总体判断中。根据“统一”风格，评审专家使用可用标准中的一小部分，应用相同的标准，以相同的方式对标准进行加权，并基于简单规则（即快速节俭启发式）整合标准。我们使用来自一项职业资助计划的独特数据集来检验这两种风格，该数据集包含相对大量的评价标准。采用一种启发式方法（快速节俭树）和一种复杂程序（逻辑回归）来描述评审专家如何将标准整合到其总体判断中。逻辑回归以高准确度预测了评审专家的总体评估，且准确度略高于快速节俭树。总体而言，本研究的结果支持统一风格，但也表明统一风格需要修正如下：评审专家使用许多标准，并使用复杂规则整合这些标准。然而，最重要的是，修正后的风格可以描述大多数——但并非所有——评审专家的判断。因此，未来的研究应考察在统一风格失效的情况下，如何表征评审专家的判断。此外，应更详细地从实证和理论层面研究评审专家的评估过程。