ChatGPT 能否为系统综述文献检索写出好的布尔查询？
信息检索
2023-02-10 v3 人工智能
摘要
系统综述是针对高度聚焦的研究问题对文献进行的综合性评述。这类综述常被视为循证医学中证据的最高形式，也是回答医学领域研究问题的关键策略。为创建高质量的系统性综述，通常需构建复杂的布尔查询以检索该综述主题的相关研究。然而，系统综述研究者往往需耗费很长时间来构建高质量的布尔查询，且所得查询常远非有效。糟糕的查询可能导致有偏或无效的综述（因遗漏关键证据），或大幅增加综述成本（因检索到过多无关研究）。基于 Transformer 的生成模型近期进展显示出巨大潜力，能有效遵循用户指令并据此生成回答。本文中，我们考察了此类最新模型 ChatGPT 在生成有效布尔查询用于系统综述文献检索上的效果。通过在标准测试集上的大量实验，我们发现 ChatGPT 能够生成带来高检索精度的查询，尽管以牺牲召回率为代价。总体而言，本研究展示了 ChatGPT 在生成有效布尔查询用于系统综述文献检索上的潜力。ChatGPT 遵循复杂指令并生成高精查询的能力，使其成为进行系统综述研究者的有力工具，尤其适用于时间受限且常可接受以较低召回率换取较高精度的快速综述。
引用
@article{arxiv.2302.03495,
title = {Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?},
author = {Shuai Wang and Harrisen Scells and Bevan Koopman and Guido Zuccon},
journal= {arXiv preprint arXiv:2302.03495},
year = {2023}
}