RAD-PHI2：针对放射学进行指令微调的 PHI-2 模型
计算与语言
2024-03-18 v1 人工智能
摘要
小型语言模型（Small Language Models, SLMs）在通用领域的语言理解、推理和编码任务中展现出惊人的性能，但在医学领域，尤其是放射学文本方面的能力研究较少。本研究探索了 SLMs 在一般放射学知识方面的应用， Specifically 针对理解症状、放射学表现、鉴别诊断、评估预后以及建议治疗等问题进行问答。此外，我们还探讨了 SLMs 在 AI 驱动的放射学工作流程中处理放射报告文本相关任务的实用性。我们使用来自 Radiopaedia 的高质量教育内容，对 Phi-2（一个拥有 27 亿参数的 SLM）进行微调。得到的语言模型 RadPhi-2-Base 能够解决各种系统（如胸部、心脏）的一般放射学查询。 Furthermore，我们探讨了 Phi-2 的指令微调能力，使其能够执行特定任务。通过在通用领域任务和放射学特定任务（如胸部 X 光报告）上进行微调，我们创建了 Rad-Phi2。我们的实验结果表明，Rad-Phi2 Base 和 Rad-Phi2 的表现与 Mistral-7B-Instruct-v0.2 和 GPT-4 相当甚至更好，能够提供简洁而精确的答案。总而言之，我们的工作表明，在放射学工作流程中利用 SLMs 处理与知识相关的查询以及执行与放射报告相关的特定任务的可行性和有效性，为提高放射学实践的质量和效率开辟了新的途径。
引用
@article{arxiv.2403.09725,
title = {RAD-PHI2: Instruction Tuning PHI-2 for Radiology},
author = {Mercy Ranjit and Gopinath Ganapathy and Shaury Srivastav and Tanuja Ganu and Srujana Oruganti},
journal= {arXiv preprint arXiv:2403.09725},
year = {2024}
}