Clinfo.ai：一种基于检索增强大语言模型、利用科学文献回答医学问题的开源系统
信息检索
2023-10-26 v1 人工智能
计算与语言
摘要
已发表医学文献的快速扩张使得临床医生与研究人员难以及时跟进并总结近期相关发现。尽管目前已有若干基于大语言模型（LLMs）的闭源总结工具，但对其输出的严格系统评估尚显不足。此外，缺乏用于评估这些工具的高质量数据集与恰当的基准任务。我们通过四项贡献解决这些问题：发布 Clinfo.ai，一个基于动态检索科学文献回答临床问题的开源 WebApp；指定一项信息检索与抽象式摘要任务以评估此类检索增强 LLM 系统的性能；发布一个由已发表系统综述衍生的 200 个问题及对应答案的数据集，命名为 PubMed Retrieval and Synthesis（PubMedRS-200）；并报告 Clinfo.ai 及其他公开可用 OpenQA 系统在 PubMedRS-200 上的基准结果。
引用
@article{arxiv.2310.16146,
title = {Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature},
author = {Alejandro Lozano and Scott L Fleming and Chia-Chun Chiang and Nigam Shah},
journal= {arXiv preprint arXiv:2310.16146},
year = {2023}
}
备注
Preprint of an article published in Pacific Symposium on Biocomputing copyright 2024 World Scientific Publishing Co., Singapore, http://psb.stanford.edu/