NLPeer：面向同行评审计算研究的统一资源
计算与语言
2023-05-22 v2
摘要
同行评审是学术出版的核心组成部分；然而它需要大量的专业知识和训练，并且容易出现错误和偏差。各种用于评审辅助的 NLP 应用旨在支持评审者完成这一复杂过程，但缺乏明确授权许可的数据集和多领域语料库阻碍了针对同行评审的 NLP 系统性研究。为弥补这一不足，我们引入了 NLPeer——首个合乎伦理来源的多领域语料库，包含来自五个不同会议场所的超过 5k 篇论文和 11k 份评审报告。除了来自 NLP 社区的论文草稿、最终录用版本和同行评审的新数据集外，我们建立了统一的数据表示，并扩充了先前的同行评审数据集，以包含解析后的结构化论文表示、丰富的元数据和版本信息。我们以三种评审辅助任务的实现和分析来补充我们的资源，包括一项新颖的引导式略读任务。我们的工作为 NLP 及更广泛领域中系统性、多面性、基于证据的同行评审研究铺平了道路。数据和代码均已公开可用。
引用
@article{arxiv.2211.06651,
title = {NLPeer: A Unified Resource for the Computational Study of Peer Review},
author = {Nils Dycke and Ilia Kuznetsov and Iryna Gurevych},
journal= {arXiv preprint arXiv:2211.06651},
year = {2023}
}
备注
Accepted at the ACL 2023 main conference