利用具有三类知识的大型语言模型的肝癌诊断助手
医学物理
2024-06-27 v1
摘要
肝癌发病率高，但基层医疗机构往往缺乏经验丰富的医生。大模型和人工智能技术的进步提供了潜在的帮助。本工作旨在解决肝癌诊断模型的局限性，例如对医学图像理解能力差、对肝脏血管考虑不足以及确保医疗信息的准确性。我们提出了一种专门的诊断助手，以提高经验不足医生的诊断能力。我们的框架结合了大模型和小模型，使用优化的小模型进行精确的患者图像感知。具体来说，一个分割网络迭代地去除模糊像素以进行肝脏肿瘤分割，一个多尺度、多层次的差分网络分割肝脏血管。这些分割结果和医疗记录的特征构成了患者的个性化知识库。在诊断时，思维链（COT）技术设计提示以模仿经验丰富医生的思维模式，检索增强生成（RAG）技术基于可靠的领域知识和可信案例提供答案。我们的小模型方法提高了肝脏肿瘤和血管的分割性能，从而实现了更准确的信息提取。在医生评估中，大模型部分在10分制上的得分比对照方法高出1分以上。我们的方法增强了对医学图像的语义感知，改进了模糊像素的分类，并优化了小目标感知。它考虑了特定治疗方案的血管位置，并通过使用可靠资源模仿经验丰富医生的思维过程来提高响应的可信度和可解释性。这种方法已得到医生的认可，并有益于肝癌辅助诊断。
引用
@article{arxiv.2406.18039,
title = {Diagnosis Assistant for Liver Cancer Utilizing a Large Language Model with Three Types of Knowledge},
author = {Xuzhou Wu and Guangxin Li and Xing Wang and Zeyu Xu and Yingni Wang and Jianming Xian and Xueyu Wang and Gong Li and Kehong Yuan},
journal= {arXiv preprint arXiv:2406.18039},
year = {2024}
}