启用包容性系统综述：融合大语言模型驱动的预印本文章评估
计算与语言
2025-07-14 v4
摘要
背景。比较疗效研究中的系统综述需要及时的数据综合。预印本加快了知识传播，但质量参差不齐，给系统综述带来挑战。方法。我们提出AutoConfidence(自动置信度评估)，一个用于预测预印本出版的高级框架，通过自动化数据提取和多特征集成来减少对手动策展的依赖，包括三个关键突破：(1) 使用自然语言处理技术进行自动数据提取、(2) 标题和摘要的语义嵌入、(3) 大型语言模型(LLM)驱动的评估得分。此外，我们采用了两种预测模型：用于二分类的随机森林分类器和预测二分类结果及出版风险随时间变化的存活治愈模型。结果。随机森林分类器在LLM驱动得分下的AUROC为0.692，语义嵌入后提升至0.733，文章使用指标后提升至0.747。存活治愈模型在LLM驱动得分下的AUROC为0.716，语义嵌入后提升至0.731。对于出版风险预测，达到一致性指数0.658，语义嵌入后提升至0.667。结论。我们的研究通过自动化数据提取和多特征集成推进了预印本出版预测框架。通过结合语义嵌入与LLM驱动的评估，AutoConfidence在提高预测性能的同时减少了手动标注负担。该框架有潜力在系统综述的评估阶段纳入预印本文章，支持研究人员更有效地利用预印本资源。
引用
@article{arxiv.2503.13857,
title = {Enabling Inclusive Systematic Reviews: Incorporating Preprint Articles with Large Language Model-Driven Evaluations},
author = {Rui Yang and Jiayi Tong and Haoyuan Wang and Hui Huang and Ziyang Hu and Peiyu Li and Nan Liu and Christopher J. Lindsell and Michael J. Pencina and Yong Chen and Chuan Hong},
journal= {arXiv preprint arXiv:2503.13857},
year = {2025}
}
备注
30 pages, 6 figures