大语言模型蒸馏药物推荐模型
信息检索
2025-01-28 v2 人工智能
机器学习
摘要
药物推荐是智能医疗系统的一个重要方面，它涉及根据患者的具体健康需求开出最合适的药物。不幸的是，目前使用的许多复杂模型往往忽视医疗数据的细微语义，而只严重依赖身份信息。此外，这些模型在处理首次就诊的患者时面临重大挑战，因为他们缺乏既往处方史。为了解决这些问题，我们利用大语言模型强大的语义理解和输入无关特性。我们的研究旨在利用LLM改造现有的药物推荐方法。本文提出了一种名为大语言模型蒸馏药物推荐（LEADER）的新方法。我们首先创建合适的提示模板，使LLM能够有效推荐药物。然而，将LLM直接集成到推荐系统中会导致药物特有的语料外问题。我们通过使用新颖的输出层和改进的微调损失函数来适配LLM来解决这个问题。尽管基于LLM的模型表现出卓越的能力，但它们在推理过程中计算成本高，这在医疗领域是不切实际的。为了缓解这一问题，我们开发了一种特征级知识蒸馏技术，将LLM的能力转移到更紧凑的模型中。在两个真实数据集MIMIC-III和MIMIC-IV上进行的大量实验表明，我们提出的模型不仅有效，而且高效。为了便于实验的可重复性，我们在网上发布了实现代码。
引用
@article{arxiv.2402.02803,
title = {Large Language Model Distilling Medication Recommendation Model},
author = {Qidong Liu and Xian Wu and Xiangyu Zhao and Yuanshao Zhu and Zijian Zhang and Feng Tian and Yefeng Zheng},
journal= {arXiv preprint arXiv:2402.02803},
year = {2025}
}