同行评审中审稿人锚定效应的检验：一项随机对照试验
人机交互
2023-07-12 v1 数字图书馆
摘要
同行评审常遵循如下流程：审稿人先给出初审意见，作者回应，然后审稿人根据作者回应更新评审。关于该流程是否有用证据不一，包括常有轶事抱怨审稿人分数更新不足。本研究旨在探究审稿人在更新评审时是否锚定其原始分数，这可作为审稿分数缺乏更新的潜在解释。我们设计了一项新颖的随机对照试验来检验审稿人是否表现出锚定。在实验条件下，参与者先看到有缺陷的论文版本，随后该版本被修正；而在控制条件下，参与者仅看到正确版本。我们采取多种措施确保在无锚定情况下，实验组审稿人的分数修订应与控制组分数同分布。此外，我们构建被审论文以最大化缺陷版与修正版之间的差异，并采用欺骗手段隐藏真实实验目的。我们的随机对照试验有 108 名研究人员参与。首先，我们发现干预成功地在缺陷版与修正版之间造成了感知论文质量的差异：使用基于 Mann-Whitney U 统计量的置换检验，我们发现实验组的初始分数在评价类(Vargha-Delaney A=0.64, p=0.0096)和总分(A=0.59, p=0.058)上均低于控制组。接着，我们通过比较实验组修订分数与控制组分数来检验锚定。我们发现无论在总分(A=0.50, p=0.61)还是评价类(A=0.49, p=0.61)上均无显著的锚定证据。
引用
@article{arxiv.2307.05443,
title = {Testing for Reviewer Anchoring in Peer Review: A Randomized Controlled Trial},
author = {Ryan Liu and Steven Jecmen and Vincent Conitzer and Fei Fang and Nihar B. Shah},
journal= {arXiv preprint arXiv:2307.05443},
year = {2023}
}
备注
14 pages (19 including references and appendix), 2 figures