当审稿人针锋相对：科学同行评审中的分歧发现
计算与语言
2023-10-31 v1
摘要
迄今为止，科学出版事业的有效性从根本上依赖于同行评审过程的力度。期刊编辑或会议主席主要依据专家审稿人的评估，识别一致与分歧之处，并试图达成共识，从而对论文的接收或拒收做出公平且知情的决定。然而，随着需要评审的投稿数量不断攀升，尤其是在顶级人工智能（AI）会议中，编辑/主席在诸多其他工作之外，还需投入大量有时令人倍感压力的精力来缓解审稿人之间的分歧。在本工作中，我们提出一项新任务：自动识别多位审稿人就某篇文章所发表意见中的矛盾。为此，我们引入了 ContraSciView，一个基于开放评审的 ICLR 和 NeurIPS 会议、涵盖约 8.5k 篇论文（约 28k 个评审对，包含近 50k 条评审对评论）的综合评审对矛盾数据集。我们进一步提出了一个从评审对中检测矛盾陈述的基线模型。据我们所知，我们首次尝试自动识别同行审稿人之间的分歧。我们公开了数据集与代码以供进一步研究。
引用
@article{arxiv.2310.18685,
title = {When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews},
author = {Sandeep Kumar and Tirthankar Ghosal and Asif Ekbal},
journal= {arXiv preprint arXiv:2310.18685},
year = {2023}
}
备注
12 pages, 5 figures, EMNLP 2023 short