评估 ChatGPT 筛选系统综述文献的能力
软件工程
2025-07-10 v1 计算与语言
信息检索
摘要
通过组织研究领域内的知识,系统综述(SR)为引导研究提供了有价值的线索。有证据表明 SR 已成为软件工程中的一类重要产物。然而,SR 筛选阶段繁琐的人工劳动使得这些研究成本高且易出错。尽管筛选传统上被认为难以自动化,但基于大语言模型的生成式 AI 驱动聊天机器人的出现必将颠覆该领域。在本报告中,我们提出一种利用这些新技术进展来自动化 SR 筛选的方法。我们评估了 ChatGPT 在 SR 文献筛选中的一致性、分类性能与泛化能力,并将这些指标与 SR 自动化中使用的传统分类器进行比较。我们的结果表明,ChatGPT 是自动化 SR 流程的可行选择,但开发人员在将 ChatGPT 集成到其 SR 工具中时需要仔细考量。
引用
@article{arxiv.2307.06464,
title = {Assessing the Ability of ChatGPT to Screen Articles for Systematic Reviews},
author = {Eugene Syriani and Istvan David and Gauransh Kumar},
journal= {arXiv preprint arXiv:2307.06464},
year = {2025}
}