基于混合学生-教师大语言模型的癌症毒性症状抽取优化
计算与语言
2024-08-12 v1 信息检索
摘要
大型语言模型 (LLM) 在临床症状抽取方面具有显著潜力，但受限于隐私 concerns、计算限制和运营成本，在医疗环境中难以部署。本研究探索了针对癌症毒性症状抽取优化紧凑型 LLM 的 novel 迭代细化方法。我们采用学生-教师体系结构，使用 Zephyr-7b-beta 和 Phi3-mini-128 作为学生模型，GPT-4o 作为教师，以动态选择提示细化、检索增强生成 (RAG) 或微调策略。我们在覆盖 12 种放射治疗毒性症状的 294 份临床记录上进行实验，证明了此方法的有效性。实验结果显示，RAG 方法最为高效，Zephyr-7b-beta 的平均准确率从 0.32 提升至 0.73，Phi3-mini-128 的准确率从 0.40 提升至 0.87。在测试集中，两种模型的准确率均提升约 0.20。值得注意的是，以 Zephyr 和 Phi-3 的成本分别比 GPT-4o 低 45 倍和 79 倍，实现了此项改进。这一结果凸显了在临床应用中通过迭代细化技术增强紧凑型 LLM 能力的潜力，为在医疗环境中实现性能、成本效益和隐私保护之间的平衡提供了解决方案。
引用
@article{arxiv.2408.04775,
title = {Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction},
author = {Reza Khanmohammadi and Ahmed I. Ghanem and Kyle Verdecchia and Ryan Hall and Mohamed Elshaikh and Benjamin Movsas and Hassan Bagher-Ebadian and Bing Luo and Indrin J. Chetty and Tuka Alhanai and Kundan Thind and Mohammad M. Ghassemi},
journal= {arXiv preprint arXiv:2408.04775},
year = {2024}
}