同行评审对理论、方法和写作的批评同等关注，但对稿件内容的影响有限
数字图书馆
2021-10-18 v1
摘要
同行评审旨在发现研究设计与解释中的缺陷和不足，并确保其表述的清晰度与质量。然而，同行评审是否履行了这一功能一直受到质疑。已有研究强调，在生物医学领域，评审者更侧重于批评研究的方法学层面和写作质量，而对理论基础关注较少。相比之下，社会科学领域的评审者似乎更关注理论支撑。这些研究还发现，同行评审对稿件内容的影响各不相同，但总体上是温和且积极的。笔者对 40 对社会科学预印本与正式出版物的样本中的 1,430 条同行评审意见进行了定性分析，以识别评审者意见的核心关注点。随后，笔者通过使用归一化 Levenshtein 距离、余弦相似度以及标题、摘要、文档章节和全文的词数比，考察了预印本与出版版本之间的差异，从而量化了同行评审对稿件的影响。笔者还检查了各版本间引用文献的变化，并将这些变化与评审者的意见相关联。评审者的意见在方法学（30.7%）、理论（30.0%）和写作质量（29.2%）方面几乎平分秋色。尽管出版物通常比预印本篇幅更长，但标题、摘要和文档的语义内容保持相似。三分之二的引文未发生改变，20.9% 在评审期间新增，13.1% 被删除。这些发现表明，评审者对稿件的理论与方法细节以及交流风格给予了同等关注，尽管其对稿件的定量指标影响有限。
引用
@article{arxiv.2110.07950,
title = {Peer reviewers equally critique theory, method, and writing, with limited effect on manuscripts' content},
author = {Dimity Stephen},
journal= {arXiv preprint arXiv:2110.07950},
year = {2021}
}