PEFT-MedAware：用于医学认知的大语言模型
计算与语言
2023-11-20 v1 人工智能
信息检索
机器学习
摘要
聊天模型能够回答广泛问题，然而其回答的准确性高度不确定。在本研究中，我们提出了一个专门的PEFT-MedAware模型，其中我们利用参数高效微调（PEFT）在由16,407个医学问答对组成的专门MedQuAD数据上增强Falcon-1b大语言模型，仅利用其0.44%的可训练参数来提升计算效率。本文采用数据预处理与PEFT优化模型性能，并辅以BitsAndBytesConfig以实现高效的transformer训练。所得模型能够在特定领域的医学问答任务中以更高准确度超越其他LLM，且利用有限计算资源，使其适合部署于资源受限环境。我们提出通过扩展数据集、更大模型与反馈机制实现持续改进，以维持医学相关性。我们的工作凸显了PEFT在医学AI中的效率提升与专门能力，在无大量资源需求下于精确度上超越标准模型。所提模型与数据仅发布供研究使用。
引用
@article{arxiv.2311.10697,
title = {PEFT-MedAware: Large Language Model for Medical Awareness},
author = {Keivalya Pandya},
journal= {arXiv preprint arXiv:2311.10697},
year = {2023}
}
备注
7 pages, 1 figure, submitted to the Artificial Intelligence in Medicine Journal