同行评审中群体多样性对冗余度与覆盖度的因果效应
数字图书馆
2024-11-19 v1 计算与语言
应用统计
摘要
大量科学期刊和会议为同一篇投稿征求多位审稿人的同行评审,旨在收集更广泛的观点并减少个体偏见。本文反思了分配给某篇投稿论文的审稿人群体多样性在丰富视角和提高同行评审过程效用方面的作用。我们提出了两个评估评审效用的指标:评审覆盖度——评审应涵盖论文的大部分内容——和评审冗余度——评审应提供其他评审中尚未包含的信息。我们假设来自多样化审稿人的评审将表现出高覆盖度和低冗余度。我们利用来自一个约有5000篇投稿论文的同行评审会议的观测数据,对审稿人多样性的不同度量指标对评审覆盖度和冗余度的因果效应进行了研究。我们的研究揭示了不同多样性度量指标对评审覆盖度和冗余度的不同影响。研究发现,指派一组在主题上具有多样性、资历不同或拥有不同发表网络的审稿人,会带来更广泛的论文内容或评审标准覆盖,但我们未发现来自不同机构或地理位置的审稿人群体能增加覆盖度的证据。来自不同机构、资历、主题或发表网络的审稿人(除地理多样性外)会导致评审冗余度的降低。此外,仅基于发表网络的多样性也有助于引入不同视角(即低冗余度),即使在特定的评审标准内也是如此。我们的研究从群体决策的视角审视同行评审中的审稿人指派,并提出了有助于指导审稿人指派过程的多样性维度。
引用
@article{arxiv.2411.11437,
title = {Causal Effect of Group Diversity on Redundancy and Coverage in Peer-Reviewing},
author = {Navita Goyal and Ivan Stelmakh and Nihar Shah and Hal Daumé},
journal= {arXiv preprint arXiv:2411.11437},
year = {2024}
}