面向可验证学术新颖性评估的LLM驱动智能体系统——OpenNovelty
信息检索
2026-01-21 v2 人工智能
计算与语言
摘要
在同行评审中，评估新颖性是关键且具有挑战性的任务，因为评审者必须将提交物与广阔且快速演化的文献库进行比较。本文报告了OpenNovelty——一种由LLM驱动的智能体系统，用于透明且基于证据的新颖性分析。该系统通过四个阶段运行：(1) 提取核心任务和贡献声明以生成检索查询；(2) 基于提取的查询通过语义搜索引擎检索相关先前工作；(3) 构建核心任务相关工作的层次化分类学，并对每项贡献进行逐层全文比较；(4) 将所有分析综合为带显式引用和证据片段的结构化新颖性报告。与简单粗暴的LLM方法不同，OpenNovelty以检索到的真实论文为依据，确保评估的可验证性。我们在500多篇ICLR 2026提交物上部署了该系统，并在网站上公开了所有报告；初步分析表明，它能够识别相关先前工作，包括作者可能忽视的紧密相关论文。OpenNovelty旨在为研究社区提供一种可扩展工具，以促进公平、一致且基于证据的同行评审。
引用
@article{arxiv.2601.01576,
title = {OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment},
author = {Ming Zhang and Kexin Tan and Yueyuan Huang and Yujiong Shen and Chunchun Ma and Li Ju and Xinran Zhang and Yuhui Wang and Wenqing Jing and Jingyi Deng and Huayu Sha and Binze Hu and Jingqi Tong and Changhao Jiang and Yage Geng and Yuankai Ying and Yue Zhang and Zhangyue Yin and Zhiheng Xi and Shihan Dou and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2601.01576},
year = {2026}
}