学术论文自动新颖性评估：集成人类与大语言模型知识的协作方法

新颖性是学术论文评审过程中评估其新颖性的关键标准。传统方法由专家判断或通过唯一引用组合来衡量。两种方法都存在局限性：专家知识有限，唯一引用组合的有效性尚不明确。此外，唯一引用是否真正衡量新颖性尚不清楚。大语言模型（LLM）拥有广泛的知识储备，而人类专家则具备LLM不具备的判断能力。因此，我们的研究整合了LLM和人类专家的知识与能力，以解决新颖性评估的局限性。学术论文中最常见的新颖性类型是引入新方法。本文提出利用人类知识与LLM辅助预训练语言模型（PLMs，如BERT等）预测论文的方法新颖性。具体而言，我们从同行评审报告中提取与论文新颖性相关的句子，并使用LLM对学术论文的方法论部分进行概括，这些内容随后用于微调PLMs。此外，我们设计了一个带有稀疏注意力的文本引导融合模块，以更好地整合人类与LLM知识。我们将所提出的方法与大量基线方法进行了比较。广泛的实验表明，我们的方法在性能上取得了优异成果。