基于师生大型语言模型的放射肿瘤学症状提取迭代提示优化
计算与语言
2024-02-07 v1
摘要
本研究引入了一种利用大型语言模型（LLM）的新型师生架构，以改进从临床笔记中提取前列腺癌放疗症状的效果。学生模型 Mixtral 首先提取症状，随后教师模型 GPT-4 根据 Mixtral 的表现优化提示。该迭代过程涉及涵盖 12 种症状的 294 份单症状临床笔记，每个 epoch 最多进行 16 轮优化。结果表明，从单症状和多症状笔记中提取症状的效果均有显著改善。对于 59 份单症状笔记，准确率从 0.51 提升至 0.71，精确率从 0.52 提升至 0.82，召回率从 0.52 提升至 0.72，F1 分数从 0.49 提升至 0.73。在 375 份多症状笔记中，准确率从 0.24 升至 0.43，精确率从 0.6 升至 0.76，召回率从 0.24 升至 0.43，F1 分数从 0.20 升至 0.44。这些结果证明了高级提示工程在 LLM 应用于放射肿瘤学中的有效性。
引用
@article{arxiv.2402.04075,
title = {Iterative Prompt Refinement for Radiation Oncology Symptom Extraction Using Teacher-Student Large Language Models},
author = {Reza Khanmohammadi and Ahmed I Ghanem and Kyle Verdecchia and Ryan Hall and Mohamed Elshaikh and Benjamin Movsas and Hassan Bagher-Ebadian and Indrin Chetty and Mohammad M. Ghassemi and Kundan Thind},
journal= {arXiv preprint arXiv:2402.04075},
year = {2024}
}