MedREK：基于 Key-Aware 提示的医学 LLM 检索式编辑
计算与语言
2025-11-04 v2 人工智能
摘要
大型语言模型（LLM）在医疗保健领域具有巨大的应用前景，但由于医学知识的快速演变以及训练数据中的错误，往往会生成过时或不准确的信息，限制了其在高风险临床实践中的应用。参数化编辑虽然是一种潜在的解决方案，却因局部性差而不适用于医疗领域；而检索式编辑则提供了更可行的替代方案。然而，检索式编辑仍面临两个关键挑战：（1）医学知识空间中的表示重叠常导致检索不准，降低编辑精度；（2）现有方法仅限于单样本编辑，而批量编辑尽管在真实世界医疗应用中至关重要，却鲜有探索。为此，我们首先构建了 MedVersa——一个涵盖更广医学主题的增强型基准，旨在严格遵循局部性约束下评估单样本和批量编辑。随后，我们提出了 MedREK，一种集成用于精确匹配的共享查询-键模块，以及用于信息性指导的注意力式提示编码器的检索式编辑框架。在various医学基准上的实验结果表明，MedREK 在不同核心指标上均实现了优异性能，并为医学 LLM 的批量编辑提供了首个经过验证的解决方案。我们的代码和数据集已发布于 https://github.com/mylittleriver/MedREK。
引用
@article{arxiv.2510.13500,
title = {MedREK: Retrieval-Based Editing for Medical LLMs with Key-Aware Prompts},
author = {Shujun Xia and Haokun Lin and Yichen Wu and Yinan Zhou and Zixuan Li and Zhongwei Wan and Xingrun Xing and Yefeng Zheng and Xiang Li and Caifeng Shan and Zhenan Sun and Quanzheng Li},
journal= {arXiv preprint arXiv:2510.13500},
year = {2025}
}
备注
Preprint, work in progress