MedAide：利用大语言模型在边缘设备上提供本地医疗辅助
人工智能
2024-03-05 v1 计算与语言
摘要
大语言模型（LLM）凭借其卓越的自然语言处理（NLP）能力正在革新各个领域。然而，在资源受限的边缘计算和嵌入式系统中部署LLM面临重大挑战。另一个挑战在于为医疗设施和基础设施有限的偏远地区提供医疗援助。为解决这些问题，我们引入了MedAide，一个本地医疗聊天机器人。它利用集成了LangChain的tiny-LLM，提供高效的基于边缘的初步医疗诊断和支持。MedAide采用模型优化技术，在嵌入式边缘设备上实现最小的内存占用和延迟，无需服务器基础设施。训练过程通过低秩适配（LoRA）进行优化。此外，模型在多样化医疗数据集上训练，并采用基于人类反馈的强化学习（RLHF）来增强其领域特定能力。该系统在多种消费级GPU和Nvidia Jetson开发板上实现。MedAide在医疗咨询中达到77%的准确率，在USMLE基准测试中得分为56，提供了一个节能的医疗辅助平台，由于基于边缘的部署缓解了隐私问题，从而赋能社区。
引用
@article{arxiv.2403.00830,
title = {MedAide: Leveraging Large Language Models for On-Premise Medical Assistance on Edge Devices},
author = {Abdul Basit and Khizar Hussain and Muhammad Abdullah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:2403.00830},
year = {2024}
}
备注
7 pages, 11 figures, ACM conference paper, 33 references