NLP的本质: 分析NLP论文中的贡献

自然语言处理(NLP)是一个成熟且充满活力的领域。尽管如此，NLP研究的构成要素仍存在争议。在这项工作中，我们通过定量分析NLP研究论文来探讨这个问题。我们提出了一个研究贡献分类法，并引入了NLPContributions数据集，该数据集包含近2000篇NLP研究论文摘要，经过仔细标注以识别科学贡献并根据此分类法对其类型进行分类。我们还引入了一项新任务：从研究论文中自动识别贡献陈述并对其类型进行分类。我们展示了该任务的实验结果，并将我们的模型应用于约29,000篇NLP研究论文以分析其贡献，从而帮助理解NLP研究的本质。我们表明，NLP研究走过了一条曲折的道路——在20世纪70年代和80年代，对语言和以人为中心的研究的关注很突出，在20世纪90年代和2000年代逐渐减少，并从2010年代末开始再次上升。伴随着这种复兴，我们观察到自20世纪90年代以来，数据集和方法论贡献稳步增加，以至于如今，平均而言，单篇NLP论文的贡献方式比以往任何时候都多。我们的数据集和分析为追踪研究趋势提供了强大的视角，并为生成基于信息的、数据驱动的文献综述提供了潜力。