大型语言模型利用外部知识扩展跨越语言边界的临床洞察力
计算与语言
2024-01-31 v4 人工智能
计算机与社会
摘要
：诸如 ChatGPT 和 Med-PaLM 等大型语言模型（LLMs）在各种医疗问答任务中表现出色。然而，这些以英语为中心的模型在非英语临床环境中遇到挑战，这主要是由于相应语言的临床知识有限，而这是训练语料库不平衡的结果。我们系统地评估了 LLMs 在中文医疗环境中的表现，并开发了一种新的上下文学习框架以增强其性能。：最新的中国国家医师资格考试（CNMLE-2022）作为基准。我们收集了 53 本医学书籍和 381,149 道医学问题，构建了医学知识库和题库。所提出的知识与少样本增强上下文学习（KFE）框架利用 LLMs 的上下文学习能力，整合了多样化的外部临床知识源。我们使用 ChatGPT(GPT3.5)、GPT4、Baichuan2(BC2)-7B 和 BC2-13B 在 CNMLE-2022 中评估了 KFE，并从 7 个角度研究了将医学知识引入 LLMs 的不同途径的有效性。：直接应用 ChatGPT 未能通过 CNMLE-2022，得分为 51。在 KFE 的配合下，不同规模的 LLMs 均取得了一致且显著的提升。ChatGPT 的成绩飙升至 70.04，而 GPT-4 获得了 82.59 的最高分。这超过了合格分数线（60），并超越了人类平均分 68.70。它还使得较小的 BC2-13B 通过了考试，展示了在低资源环境下的巨大潜力。：通过上下文学习协同医学知识，LLM 能够扩展跨越语言障碍的临床洞察力，显著减少 LLM 应用中与语言相关的差异，并确保在全球医疗保健中获益。
引用
@article{arxiv.2305.10163,
title = {Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries},
author = {Jiageng Wu and Xian Wu and Zhaopeng Qiu and Minghui Li and Yingying Zhang and Yefeng Zheng and Changzheng Yuan and Jie Yang},
journal= {arXiv preprint arXiv:2305.10163},
year = {2024}
}