基于文献的科学思想新颖性评估

自动化科学思想生成系统取得了显著进展，但对思想新颖性的自动评估仍是一个关键且尚未充分探索的挑战。通过文献综述进行的手动新颖性评估工作量大、受主观性影响易出错且难以大规模应用。为解决这些问题，我们提出了“思想新颖性检查器”(Idea Novelty Checker)，一种基于大语言模型的检索增强生成 (RAG) 框架，采用两阶段检索-重排序方法。思想新颖性检查器首先通过关键词和片段检索收集广泛的相关论文，然后通过基于嵌入的过滤和基于 facets 的 LLM 重排序来细化此集合。它整合了专家标注的示例，用于指导系统在比较论文时进行新颖性评估和生成文献依据的推理。我们的大量实验表明，思想新颖性检查器约高出 13% 的一致性。消融研究进一步展示了基于 facets 重排序器在识别最相关文献以进行新颖性评估方面的重要性。