关于同行评审讨论中审稿人互相匿名化的随机对照试验

同行评审通常涉及审稿人提交各自的独立评审，随后审稿人对每篇论文进行讨论。政策制定者面临的一个问题是，在讨论期间，一篇论文的审稿人是否应该对彼此匿名。我们通过在 UAI 2022 会议上进行一项随机对照试验来阐明这一点。我们随机将审稿人和论文分为两种情况——一种采用匿名讨论，另一种采用非匿名讨论，并对所有审稿人进行了匿名调查，以解决以下问题：1. 审稿人在其中一种情况下会讨论更多吗？匿名情况下略多 (n = 2281, p = 0.051)。2. 当非匿名时，资历对最终决定有更大影响吗？是的，非匿名情况下的决定比匿名情况下更接近资深审稿人的评分 (n = 484, p = 0.04)。3. 审稿人在其中一种情况下更礼貌吗？审稿人基于文本的回复在礼貌上没有显著差异 (n = 1125, p = 0.72)。4. 审稿人自我报告的体验在两种情况下是否不同？所问的五个问题中均无显著差异 (n = 132 且 p > 0.3)。5. 审稿人更偏好哪种情况？是的，对匿名讨论有微弱偏好 (n = 159 且 Cohen's d = 0.25)。6. 审稿人认为制定审稿人之间匿名性政策时什么重要？审稿人表达意见时的安全感被评为最重要，而审稿人之间的礼貌沟通被评为最不重要 (n = 159)。7. 审稿人是否因讨论中的非匿名性而经历过不诚实行为？是的，大约 7% 的受访者给出了肯定回答 (n = 167)。总体而言，就所考虑的评估标准而言，该实验揭示了支持同行评审过程中匿名讨论设置的依据。