使用神经网络自动化系统文献综述的引文筛选：一项可复现性研究

在系统文献综述过程中，引文筛选被估计为最耗时的步骤之一。已有多种使用各类机器学习技术将其自动化的方法被提出。应用深度神经网络解决该问题的首批研究论文发表于过去两年。本文中，我们对首批两篇关于引文筛选的深度学习论文进行可复现性研究，并在 23 个公开可用数据集上评估其性能。我们成功复现了其中一篇论文的结果，但未能复现另一篇的结果。我们总结了复现过程中涉及的挑战，包括难以获取与原始论文实验设置相匹配的数据集，以及执行原始源代码时的问题。受此经验启发，我们随后提出了一个基于平均词嵌入的更简模型，该模型在 23 个数据集中有 18 个上优于其中一种模型，且平均比第二种被复现的方法快 72 倍。最后，我们测量了模型的训练时间以及当暴露于多种输入特征和随机初始化时的不变性，展示了这些方法在鲁棒性上的差异。