关于同行评审中偏倚的检验
统计方法学
2020-01-01 v1 统计理论
应用统计
统计理论
摘要
我们考虑学术研究中的偏倚问题，具体而言是同行评审中的偏倚。关于向评审者暴露作者身份是否会对某些群体引发偏倚，存在长期的争论，我们的重点在于设计检验以检测此类偏倚的存在。我们的出发点是Tomkins、Zhang和Heavlin最近一项引人注目的工作，该工作进行了一项受控的大规模实验，以调查WSDM会议同行评审中偏倚的存在。我们在本文中给出两组结果。第一组结果为否定性的，涉及Tomkins等人工作中使用的统计检验和实验设置。我们表明其中采用的检验不能保证对误报概率的控制，并且在相关变量之间存在相关性，再加上以下任一条件时，会以高概率在偏倚实际不存在时宣称存在偏倚：(a) 测量误差，(b) 模型失配，(c) 评审者校准。此外，我们表明他们的实验设置本身可能放大误报概率，如果(d) 投标以非盲方式进行或(e) 采用流行的评审者分配程序。我们的第二组结果为肯定性的，围绕我们提出的一种检验偏倚的新方法构建。我们提出了一个用于检验(单盲与双盲)同行评审中偏倚的通用框架。然后我们设计了假设检验，其在最小假设下保证对误报概率的控制和非平凡功效，即使在条件(a)--(c)下也是如此，并提出了一种替代实验设置以缓解问题(d)和(e)。最后，我们表明在控制误报概率所需假设方面，任何统计检验都无法超越我们所考虑的非参数检验。
引用
@article{arxiv.1912.13188,
title = {On Testing for Biases in Peer Review},
author = {Ivan Stelmakh and Nihar B. Shah and Aarti Singh},
journal= {arXiv preprint arXiv:1912.13188},
year = {2020}
}