使用QLoRA微调大语言模型和检索增强生成的轻量级临床决策支持系统
计算与语言
2025-05-07 v1 人工智能
摘要
本研究论文探讨了大语言模型（LLMs）在医疗保健中的应用，特别关注通过集成医院特定数据的检索增强生成（RAG）以及使用量化低秩适应（QLoRA）进行微调来增强医疗决策支持。该系统利用Llama 3.2-3B-Instruct作为其基础模型。通过嵌入和检索上下文相关的医疗保健信息，该系统显著提高了响应准确性。QLoRA促进了显著的参数效率和内存优化，通过专门的量化技术保持了医学信息的完整性。我们的研究还表明，我们的模型在各种医学基准测试上表现相对良好，表明它可以用于提出基本的医学建议。本文详细介绍了系统的技术组件，包括其架构、量化方法以及关键的医疗保健应用，例如根据患者症状和病史增强疾病预测、治疗建议以及复杂医疗报告的高效总结。我们触及了伦理考虑——患者隐私、数据安全以及严格临床验证的必要性——以及将此类系统集成到真实世界医疗保健工作流程中的实际挑战。此外，轻量级的量化权重确保了即使在资源匮乏的医院环境中也能实现可扩展性和易于部署。最后，本文总结分析了LLMs对医疗保健的更广泛影响，并概述了LLMs在医疗环境中的未来方向。
引用
@article{arxiv.2505.03406,
title = {Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation},
author = {Mohammad Shoaib Ansari and Mohd Sohail Ali Khan and Shubham Revankar and Aditya Varma and Anil S. Mokhade},
journal= {arXiv preprint arXiv:2505.03406},
year = {2025}
}
备注
12 pages