面向药物咨询的轻量级大语言模型：Med-Pal
计算与语言
2024-07-19 v1 人工智能
摘要
大语言模型（LLM）已成为一种潜在解决方案，用于辅助数字健康发展，特别是患者教育，常见于药物相关咨询。我们训练和验证了 Med-Pal，这是一个针对药物领域的专用 LLM 对话机器人，通过针对计算约束和优先考虑操作效率的限制，对 70 亿参数或更少的轻量级开源 LLM 进行精细调优。多学科团队根据 SCORE 标准对 LLM 的响应进行临床评估，关注安全性、准确性、偏见、可重复性和易于理解性。挑选最佳表现的轻量级 LLM 作为 Med-Pal 进一步进行工程化处理，并采用对抗性提示进行防护。Med-Pal 和现有的轻量级 LLM，包括预训练的Biomistral和微调的Meerkat，均在针对广泛药物问题（共 231 题）和 14 种不同药物类别中 12 种不同问题类型的独立数据集上进行验证。Mistral-7b 在所选轻量级 LLM 中表现最佳，获取最高的中位数得分 14 和 71.9% 的高质量响应在准确性和安全性领域，因此作为 Med-Pal 的 backbone LLM。与 Biomistral 相比，Med-pal 在生成适合患者沟通的响应方面表现更好，显著减少了偏见和一般 LLM 中常见的错误。与 Meerkat 的比较结果相当。Med-Pal 展示了开发和运用微调后的轻量级 LLM 来增强数字健康沟通的可行性。
引用
@article{arxiv.2407.12822,
title = {Lightweight Large Language Model for Medication Enquiry: Med-Pal},
author = {Kabilan Elangovan and Jasmine Chiat Ling Ong and Liyuan Jin and Benjamin Jun Jie Seng and Yu Heng Kwan and Lit Soo Tan and Ryan Jian Zhong and Justina Koi Li Ma and YuHe Ke and Nan Liu and Kathleen M Giacomini and Daniel Shu Wei Ting},
journal= {arXiv preprint arXiv:2407.12822},
year = {2024}
}