通过领域感知检索与潜在推理提升 LLM 基于论文的评估
信息检索
2025-11-17 v2 计算与语言
摘要
随着学术论文产出的快速持续增长，识别高质量研究已成为日益紧迫的挑战。虽然最近利用大型语言模型（LLM）进行自动化论文评估的方法显示出巨大潜力，但往往受限于过时的领域知识和有限的推理能力。在本工作中，我们提出 PaperEval，一个 novel 的 LLM 基于框架，用于自动化论文评估，通过两个关键组件解决上述限制：1）领域感知论文检索模块，用于检索相关的当前工作以支持对新颖性和贡献的情境化评估；2）潜在推理机制，使模型能够深入理解复杂的动机和方法，并进行与当前相关工作的全面比较，以支持更准确可靠的评估。为引导推理过程，我们引入渐进式排序优化策略，鼓励 LLM 在强调相对比较的基础上迭代细化其预测。实验在两个数据集上表明，PaperEval 在学术影响和论文质量评估方面 consistently 优于现有方法。此外，我们在现实世界的论文推荐系统中部署 PaperEval，该系统已在社交媒体上获得强烈关注——许多被筛选出的高质量论文获得了超过 8,000 个订阅者和 10,000 多次浏览，充分展示了 PaperEval 的实际有效性。
引用
@article{arxiv.2508.05129,
title = {Navigating Through Paper Flood: Advancing LLM-based Paper Evaluation through Domain-Aware Retrieval and Latent Reasoning},
author = {Wuqiang Zheng and Yiyan Xu and Xinyu Lin and Chongming Gao and Wenjie Wang and Fuli Feng},
journal= {arXiv preprint arXiv:2508.05129},
year = {2025}
}
备注
Accepted for publication in AAAI'26