来自 ICLR 同行评审与反驳过程的洞见
计算机与社会
2025-11-20 v1 人工智能
摘要
同行评审是科学出版的基石，包括顶级机器学习会议 ICLR 在内。随着投稿量不断增加，理解评审过程的性质与动态对于提高其效率、效果以及已发表论文的质量至关重要。我们present 对 ICLR 2024 和 2025 同行评审过程的大规模分析，聚焦评审得分与反驳后的得分变化以及评审-作者互动。我们检查评审得分、作者-评审参与度、评审提交的时间模式以及共同评审的影响效应。结合定量分析与基于 LLM 的评审文本和反驳讨论分类，我们识别出每个评分组的常见优势与不足，以及与得分变化最强相关的反驳策略趋势。我们的发现表明，初始得分和共同评审的评级是得分在反驳期间变化的最强预测因子，指向一定程度的评审影响。反驳在改善边缘论文的结果方面发挥了重要作用，审慎的作者回应可显著性地改变评审者的看法。更广泛地，我们的研究提供了基于证据的见解，以改进同行评审过程，为作者提供有效反驳策略的指导，并帮助社区设计更公平、更高效的评审流程。我们的代码和得分变化数据已公开于 https://github.com/papercopilot/iclr-insights。
关键词
引用
@article{arxiv.2511.15462,
title = {Insights from the ICLR Peer Review and Rebuttal Process},
author = {Amir Hossein Kargaran and Nafiseh Nikeghbal and Jing Yang and Nedjma Ousidhoum},
journal= {arXiv preprint arXiv:2511.15462},
year = {2025}
}