GAPMAP：使用大语言模型映射生物医学文献中的知识空白
计算与语言
2025-10-30 v1 人工智能
机器学习
摘要
科学进步依赖于对未知之处的明确表述。本研究探究大语言模型（LLM）识别生物医学文献中研究知识空白的能力。我们定义两种知识空白类型：显性空白为明确声明的缺失知识；隐性空白为情境推断出的缺失知识。虽然既有工作主要聚焦显性空白检测，但本研究延伸此路径，通过解决隐性空白推断这一新任务来拓展研究视野。我们在涵盖近1500篇文献的四个数据集上开展实验，包括一个手工标注的生物医学文章语料库。我们对比评估了闭源权重模型（来自OpenAI）和开源权重模型（Llama与Gemma 2）在段落级与全文级情境下的表现。为解决隐性空白推断的推理问题，我们引入TABI（Toulmin-Abductive Bucketed Inference）方案，通过结构化推理并对推断出的结论候选对象进行分箱，以便进行验证。我们的结果表明，LLM在识别显性与隐性知识空白方面均具备稳健能力。这适用于开源与闭源模型，较大规模的模型往往表现更佳。这表明LLM具备系统性识别候选知识空白的强大能力，可支持早期研究构思、政策制定者及资助决策。我们还报告了观察到的失效模式，并提出鲁棒部署的方向，包括领域适应、人类在环验证以及跨开源闭源模型的基准测试。
引用
@article{arxiv.2510.25055,
title = {GAPMAP: Mapping Scientific Knowledge Gaps in Biomedical Literature Using Large Language Models},
author = {Nourah M Salem and Elizabeth White and Michael Bada and Lawrence Hunter},
journal= {arXiv preprint arXiv:2510.25055},
year = {2025}
}