激励、质量与风险：审视 NSF 提案评审试点

美国国家科学基金会 (NSF) 将试验一种新的分布式提案评审方法，即由某子领域的一组项目负责人 (PIs) 或提案人充当评审员，评审由同一组 PIs 提交的提案。为了鼓励诚实，PIs 获得资助的机会不仅取决于其提案的质量，还与其评审质量（相对于整个小组提供的评审）挂钩。直观上，这种方法可以更公平地分配评审工作量，阻止轻率的提案提交，并鼓励高质量的评审。另一方面，该方法已引发人们对过程完整性和策略性操纵可能性的担忧。在本文中，我们仔细审视了三个具体问题，试图超越第一印象和轶事证据，更深入地理解新流程的优势与局限。我们首先考虑将 PIs 的评审质量与其提案的科学价值捆绑在一起的利弊。随后，我们探讨了串通和偏袒的问题。最后，我们考察了新流程是否使具有争议的提案处于不利地位。我们的结论是，使用评审质量作为激励机制的一些好处可能超过其弊端。另一方面，即使只有两名 PIs 结成联盟，也可能对流程造成重大损害，因为内置的激励措施不足以阻止串通。虽然我们也证实了普遍的怀疑，即该流程偏向于无争议的提案，但更意外的发现是，在同样具有争议的提案中，质量较低的提案通过此流程获得了优势。因此，该流程不仅偏向无争议的提案，而且在某种意义上偏向平庸。我们还讨论了改进此评审流程的可能方法。