基于大语言模型的科学论文创新性层次化评估框架
计算与语言
2025-10-27 v2
摘要
测量科学论文创新性既重要又具有挑战性。现有的基于内容的方法往往忽略全文上下文，未能捕捉创新的全貌，且缺乏泛化能力。我们提出HSPIM，一种基于大语言模型（LLM）的层次化、无需训练的框架。它引入了一种“论文-章节-问答”分解来评估创新性。我们按章节标题分割文本，并使用零样本LLM提示来实现章节分类、问答增强和加权创新评分。生成的问答对关注章节级创新，并作为额外上下文以改进LLM评分。对于每个片段，LLM输出新颖性分数和置信度分数。我们使用置信度分数作为权重，将新颖性分数聚合成论文级创新分数。为了进一步提高性能，我们提出了一种由通用问题和特定章节问题组成的两层问题结构，并应用遗传算法优化问题-提示组合。此外，在创新的细粒度结构下，我们将HSPIM扩展为HSPIM^+，生成新颖性、贡献和可行性分数及其各自的置信度分数。在科学会议论文数据集上的全面实验表明，HSPIM在有效性、泛化性和可解释性方面优于基线方法。演示代码可在https://github.com/Jasaxion/HSPIM获取。
引用
@article{arxiv.2504.14620,
title = {A Hierarchical Framework for Measuring Scientific Paper Innovation via Large Language Models},
author = {Hongming Tan and Shaoxiong Zhan and Fengwei Jia and Hai-Tao Zheng and Wai Kin Chan},
journal= {arXiv preprint arXiv:2504.14620},
year = {2025}
}