COMPARE:同行评审中比较性讨论的分类体系与数据集
计算与语言
2021-08-11 v1
摘要
比较研究论文是展示实验研究进展的传统方法。我们提出了 COMPARE,一个针对实验深度学习领域研究论文同行评审中比较性讨论的分类体系与数据集。通过对大量评审句子的细致观察,我们构建了比较性讨论的分类体系,并提出了一种详细的标注方案以对此进行分析。总体而言,我们标注了涵盖 1,800 个句子的 117 份评审。我们试验了多种方法以识别同行评审中的比较性句子,并报告了最高 0.49 的 F1 分数。我们还在 ML、NLP 和 CV 论文摘要及评审上专门预训练了两个语言模型,以学习同行评审的信息化表示。标注的数据集与预训练模型可在 https://github.com/shruti-singh/COMPARE 获取。
引用
@article{arxiv.2108.04366,
title = {COMPARE: A Taxonomy and Dataset of Comparison Discussions in Peer Reviews},
author = {Shruti Singh and Mayank Singh and Pawan Goyal},
journal= {arXiv preprint arXiv:2108.04366},
year = {2021}
}
备注
4 pages, JCDL 2021