Insight: 基于大语言模型的眼表疾病诊断多模态诊断管线
计算与语言
2024-10-02 v1 计算机视觉与模式识别
摘要
准确诊断眼表疾病对于视力学和眼科学至关重要,其依赖于整合临床数据源(如瞳膜成像和临床元数据)。传统的人类评估在量化临床观察时缺乏精度,而现有的基于机器的方法常将诊断视为多分类问题,限制了诊断受限于预先定义的封闭答案集合,而无法对每个变量与诊断的临床相关性进行推理。为克服这些挑战，我们引入一种创新的多模态诊断管线（MDPipe），通过运用大语言模型（LLM）进行眼表疾病诊断。我们首先采用视觉翻译器来解释瞳膜图像，通过将其转换为可量化的形态数据，促进其与临床元数据的集成，并实现向LLM传递细微的医学见解的能力。为进一步推进这种沟通，我们引入基于LLM的概述器，对结合形态数据和临床元数据的见解进行上下文化处理，并生成临床报告摘要。最后，我们通过来自真实临床医生诊断所提供的专业见解来细化LLM的推理能力。我们在多样化的眼表疾病诊断基准测试中进行评估，结果表明MDPipe超越了现有的标准，包括GPT-4，为诊断提供了临床上合理的依据。
引用
@article{arxiv.2410.00292,
title = {Insight: A Multi-Modal Diagnostic Pipeline using LLMs for Ocular Surface Disease Diagnosis},
author = {Chun-Hsiao Yeh and Jiayun Wang and Andrew D. Graham and Andrea J. Liu and Bo Tan and Yubei Chen and Yi Ma and Meng C. Lin},
journal= {arXiv preprint arXiv:2410.00292},
year = {2024}
}
备注
Accepted to MICCAI 2024. Project Webpage: https://danielchyeh.github.io/MDPipe/