科学同行评审中论证充分性的自动分析
计算与语言
2023-11-21 v1
摘要
随着顶级 AI 会议中问题同行评审数量的增加，社区迫切需要有自动质量控制措施。在本文中，我们将注意力限制在论证充分性（substantiation）——一个表明评审中的主张是否得到充分证据支持的流行质量维度——并提供一种使该评估过程自动化的解决方案。为实现这一目标，我们首先将问题形式化为科学同行评审中的主张-证据对抽取，并收集 SubstanReview，这是该任务首个带标注的数据集。SubstanReview 由来自 NLP 会议的 550 篇由领域专家标注的评审组成。在此数据集基础上，我们训练了一个论证挖掘（argument mining）系统，以自动分析同行评审中的论证充分性水平。我们还对 SubstanReview 数据集进行数据分析，以获得近年来 NLP 会议同行评审质量的有意义洞察。
引用
@article{arxiv.2311.11967,
title = {Automatic Analysis of Substantiation in Scientific Peer Reviews},
author = {Yanzhu Guo and Guokan Shang and Virgile Rennard and Michalis Vazirgiannis and Chloé Clavel},
journal= {arXiv preprint arXiv:2311.11967},
year = {2023}
}
备注
Accepted to EMNLP 2023 Findings