同行评审真的在衰退吗？跨会议与时间的评审质量分析
计算与语言
2026-01-22 v1
摘要
同行评审是现代科学的核心。随着投稿数量的增加和研究群体的壮大，评审质量下降是一种流行的说法和普遍的担忧。然而，这是真的吗？评审质量难以衡量，且评审实践的持续演变使得跨会议和时间的评审比较变得困难。为解决此问题，我们引入了一个新的基于证据的评审质量比较研究框架，并将其应用于主要的人工智能和机器学习会议：ICLR、NeurIPS和*ACL。我们记录了评审格式的多样性，并引入了一种新的评审标准化方法。我们提出了一个多维度的模式，将评审质量量化为对编辑和作者的效用，并结合了基于LLM的测量和轻量级测量。我们研究了评审质量测量之间的关系及其随时间的演变。与流行的说法相反，我们的跨时间分析显示，各会议和年份的中位评审质量并未出现持续下降。我们提出了替代性解释，并概述了促进未来评审质量实证研究的建议。
引用
@article{arxiv.2601.15172,
title = {Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time},
author = {Ilia Kuznetsov and Rohan Nayak and Alla Rozovskaya and Iryna Gurevych},
journal= {arXiv preprint arXiv:2601.15172},
year = {2026}
}