一种 ChatGPT 辅助的可解释零样本医学图像诊断框架
图像与视频处理
2023-07-06 v1 计算机视觉与模式识别
机器学习
摘要
零样本医学图像分类在现实场景中是一项关键过程,其中我们难以获取所有可能疾病或大规模标注数据。它涉及计算查询医学图像与可能疾病类别间的相似度分数以确定诊断结果。预训练视觉-语言模型(VLM)如 CLIP 的近期进展在零样本自然图像识别中展现出优异性能,并在医学应用中显现益处。然而,一个具有良好性能的可解释零样本医学图像识别框架尚在开发中。本文提出一种新颖的基于 CLIP 的零样本医学图像分类框架,并辅以 ChatGPT 实现可解释诊断,模拟人类专家的诊断过程。其核心思想是向大语言模型(LLM)查询类别名称以自动生成额外线索与知识,如疾病症状或除单一类别名外的描述,从而借助 CLIP 提供更准确且可解释的诊断。我们进一步设计特定提示以增强 ChatGPT 所生成描述视觉医学特征文本的质量。在一个私有数据集与四个公开数据集上的广泛结果及详细分析证明了我们免训练零样本诊断流程的有效性与可解释性,印证了 VLM 与 LLM 在医学应用中的巨大潜力。
引用
@article{arxiv.2307.01981,
title = {A ChatGPT Aided Explainable Framework for Zero-Shot Medical Image Diagnosis},
author = {Jiaxiang Liu and Tianxiang Hu and Yan Zhang and Xiaotang Gai and Yang Feng and Zuozhu Liu},
journal= {arXiv preprint arXiv:2307.01981},
year = {2023}
}
备注
Workshop on Interpretable ML in Healthcare at International Conference on Machine Learning (ICML) 2023