中文

引用观察与评审:同行评审中引用偏差的一项研究

数字图书馆 2023-07-19 v1 应用统计

摘要

引用作为科学影响力评价的关键因素,在研究者职业生涯中扮演着重要角色。许多传闻建议作者利用这一事实,引用潜在审稿人的文献,以试图为其投稿获得更积极的评价。在本工作中,我们研究这种引用偏差是否确实存在:投稿中引用审稿人自己的工作是否会导致审稿人对其投稿产生正向偏差?结合机器学习和算法经济学领域两个旗舰会议的评审过程,我们开展了一项观察性研究,以检验同行评审中的引用偏差。在我们的分析中,我们仔细考虑了论文质量与审稿人专业程度等多种混杂因素,并应用不同的建模技术以缓解关于模型失配的担忧。总体而言,我们的分析涉及1,314篇论文和1,717名审稿人,并在我们所考虑的两个会议场所均检测到引用偏差。就效应量而言,通过引用审稿人的工作,投稿获得该审稿人更高评分的概率不可忽略:评分的预期提升约为5点Likert量表上的0.23。作为参考,单一审稿人评分提高1分平均可使投稿排名提升11%。

关键词

引用

@article{arxiv.2203.17239,
  title  = {Cite-seeing and Reviewing: A Study on Citation Bias in Peer Review},
  author = {Ivan Stelmakh and Charvi Rastogi and Ryan Liu and Shuchi Chawla and Federico Echenique and Nihar B. Shah},
  journal= {arXiv preprint arXiv:2203.17239},
  year   = {2023}
}

备注

19 pages, 3 figures