我的反驳有用吗？来自某主要 NLP 会议的洞察
计算与语言
2019-03-29 v2 人工智能
摘要
同行评审是科学过程的核心要素，尤其在以会议为中心的领域如 ML 和 NLP 中。然而，仅有少数研究对其性质进行了实证评估。为填补这一空白，我们呈现了一个包含来自 ACL-2018 的超过 4k 篇评审和 1.2k 条作者回复的语料库。我们对该语料库进行了定量与定性评估。这包括一项关于评审人给出的论文缺陷以及作者回复质量的试点研究。随后我们聚焦于反驳阶段的作用，并提出一项新任务：根据初始评审和作者回复预测反驳后（即最终）分数。尽管作者回复确实对最终分数有边际的（且在统计上显著的）影响，尤其对边缘论文而言，我们的结果表明评审人的最终分数很大程度上由其初始分数以及与其他评审人初始分数的距离所决定。在此背景下，我们讨论了同行评审中固有的从众偏差，这一偏差在以往研究中很大程度上被忽视。我们希望我们的分析有助于更好地评估 NLP 会议中反驳阶段的作用。
引用
@article{arxiv.1903.11367,
title = {Does My Rebuttal Matter? Insights from a Major NLP Conference},
author = {Yang Gao and Steffen Eger and Ilia Kuznetsov and Iryna Gurevych and Yusuke Miyao},
journal= {arXiv preprint arXiv:1903.11367},
year = {2019}
}
备注
Accepted to NAACL-HLT 2019. Main paper plus supplementary material