ChatCAD：基于大语言模型的医学图像交互式计算机辅助诊断
计算机视觉与模式识别
2023-02-15 v1 图像与视频处理
摘要
大语言模型（LLMs）近期已展现出在临床应用中的潜力，可提供有价值的医学知识与建议。例如，像 ChatGPT 这样的大型对话式 LLM 已成功通过美国医师执照考试的一部分。然而，LLMs 目前难以处理图像，因而难以解读医学图像中的信息，而这类图像富含支持临床决策的信息。另一方面，医学图像的计算机辅助诊断（CAD）网络借助先进的深度学习算法支持临床决策，已在医学领域取得显著成功。本文提出一种将 LLMs 集成到医学图像 CAD 网络中的方法。所提出的框架利用 LLMs 以自然语言文本格式对信息进行总结与重组，从而增强多个 CAD 网络（如诊断网络、病灶分割网络和报告生成网络）的输出。其目标是将 LLMs 的医学领域知识与逻辑推理能力，与现有医学图像 CAD 模型的视觉理解能力相融合，以构建比传统 CAD 系统更友好、更易被患者理解的系统。未来，LLM 的医学知识也可用于提升基于视觉的医学图像 CAD 模型的性能。
引用
@article{arxiv.2302.07257,
title = {ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models},
author = {Sheng Wang and Zihao Zhao and Xi Ouyang and Qian Wang and Dinggang Shen},
journal= {arXiv preprint arXiv:2302.07257},
year = {2023}
}