基于开放同行评审中个体智慧度量的论文质量评估

传统的封闭式同行评审系统在科学出版中一直发挥着核心作用，但往往速度慢、成本高、不透明、具有随机性，且可能存在偏见——这些因素可能会阻碍科学进步并削弱公众信任。在此，我们提出并检验了一种替代性科学同行评审形式的有效性与准确性：通过开放的、自下而上的过程。首先，利用两个主要科学会议（CCN2023和ICLR2023）的数据，我们强调了评审分数的高变异性与评审者间的低相关性如何给集体评审带来挑战。我们量化了评审者与社区共识分数的一致性，并将其作为评审者质量估计量，结果显示令人惊讶的是，评审者质量分数与作者质量并不相关。相反，我们揭示了一种倒U型关系，即论文得分处于中等水平的作者是最好的评审者。我们评估了经验贝叶斯方法，以基于对个体评审者可靠性的不同评估来估计论文质量。我们展示了在一次性“先评审后打分”场景下，无论是在我们的模型中还是在真实的同行评审数据中，贝叶斯度量相较于简单平均都能显著改善论文质量评估。随后，我们考虑了一种包含出版、评审和打分的持续模型，其中评审者不仅为论文打分，还为其他评审者打分。我们表明，即使不可靠（但无偏见）的评审者占主导地位，用户生成的评审者评级也能产生稳健且高质量的论文评分。最后，我们概述了识别高质量评审者并鼓励对已提交论文进行更广泛评审覆盖的激励结构。这些发现表明，自选择的开放同行评审过程具有潜在的可扩展性、可靠性和公平性，有望提升同行评审过程的速度、公平性和透明度。