面向可靠医疗问答服务的 LLM 微调
计算与语言
2024-10-22 v1 人工智能
摘要
我们提出了一种先进的医疗问答 (QA) 方法，利用微调的大型语言模型 (LLM) 来提高 healthcare 信息的准确性和可靠性。我们的研究聚焦于优化 LLaMA-2 和 Mistral 等模型，这些模型在提供精确、可靠的医学答案方面已显示出巨大的潜力。通过利用全面的数据集，我们应用了诸如 rsDoRA+ 和 ReRAG 等微调技术。rsDoRA+ 通过组合分解模型权重、为低秩矩阵采用不同的学习率以及秩稳定，提高了模型性能，实现了更高的效率。ReRAG 集成了按需检索和问题重写，进一步细化了响应的准确性。该方法使 healthcare 供应商能够获取快速、可靠的信息，助力更高效的决策，增强患者信任。我们的工作凸显了微调 LLM 在显著提升医疗信息服务质量和可及性方面的潜力，最终有助于改善所有人的 healthcare 结果。
引用
@article{arxiv.2410.16088,
title = {Fine-Tuning LLMs for Reliable Medical Question-Answering Services},
author = {Ali Anaissi and Ali Braytee and Junaid Akram},
journal= {arXiv preprint arXiv:2410.16088},
year = {2024}
}
备注
8 pages, 10 figures, accepted and to be published in the proceedings of 2024 IEEE International Conference on Data Mining Workshops (ICDMW)