基于微调与检索增强生成的 Medicare 对话式 AI 系统
计算与语言
2025-02-05 v1 人工智能
摘要
大型语言模型 (LLM) 在包括对话生成在内的自然语言处理任务中展现出了令人瞩目的能力。本研究旨在针对包含混合医疗领域多个数据集的医患对话场景，对两种主流技术——带有 LoRA (Low-Rank Adaptation) 的微调与检索增强生成 (RAG) 框架——进行一项新颖的比较分析。该分析涉及三个 SOTA 模型：Llama-2、GPT 和 LSTM 模型。利用真实世界的医患对话，我们全面评估了模型的性能，评估的关键指标包括语言质量（困惑度、BLEU 分数）、事实准确性（对照医学知识库进行事实核查）、对医疗指南的依从性以及整体人工评判（连贯性、共情能力、安全性）。研究结果提供了对每种方法优势与局限的深入见解，阐明了它们在医疗保健应用中的适用性。此外，本研究还调查了模型在处理多样化患者查询（从一般健康咨询到特定医疗状况）时的鲁棒性。同时探讨了领域特定知识整合的影响，突出了通过有针对性的数据增强和检索策略来提升 LLM 性能的潜力。
引用
@article{arxiv.2502.02249,
title = {Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation},
author = {Atharva Mangeshkumar Agrawal and Rutika Pandurang Shinde and Vasanth Kumar Bhukya and Ashmita Chakraborty and Sagar Bharat Shah and Tanmay Shukla and Sree Pradeep Kumar Relangi and Nilesh Mutyam},
journal= {arXiv preprint arXiv:2502.02249},
year = {2025}
}
备注
12 pages