双盲同行评审能否减少偏见？来自一个顶级计算机科学会议的证据
计算机与社会
2021-10-13 v1 数字图书馆
综合经济学
经济学
摘要
同行评审被广泛认为是推进科学研究的必要条件。然而，评审者可能会受到作者声望或其他特征的偏见影响。双盲同行评审——即向评审者隐藏作者身份——已被提出作为减少评审者偏见的一种方式。尽管直观，但关于双盲同行评审在减少偏见方面有效性的证据有限且混杂。在此，我们通过分析提交至国际学习表征会议（ICLR）的 5027 篇论文的同行评审档案，考察双盲同行评审对声望偏见的影响；ICLR 是一个顶级计算机科学会议，于 2018 年将其评审政策从单盲同行评审改为双盲同行评审。我们发现，在切换到双盲评审后，给予最具声望作者分数的显著降低。然而，由于这些论文中有许多高于录用阈值，这一变化并未显著影响论文录用决定。尽管如此，我们表明双盲同行评审可能通过限制其他（非作者声望）偏见而提高了遴选质量。具体而言，在单盲格式下被拒的论文比在双盲格式下被拒的论文被引用更多，这表明双盲评审能更好地识别质量较差的论文。有趣的是，一个看似无关的变化——评分尺度从 10 分改为 4 分——可能显著降低了声望偏见，其程度足以影响论文录用。这些结果为双盲评审在减少声望偏见方面的有效性提供了一些支持，同时为同行评审格式影响的新研究方向打开了空间。
引用
@article{arxiv.2101.02701,
title = {Does double-blind peer-review reduce bias? Evidence from a top computer science conference},
author = {Mengyi Sun and Jainabou Barry Danfa and Misha Teplitskiy},
journal= {arXiv preprint arXiv:2101.02701},
year = {2021}
}