面向年龄相关性黄斑变性的多模态会话人工智能
计算机视觉与模式识别
2026-04-29 v1 计算与语言
摘要
尽管深度学习模型在视网膜疾病检测中表现出色，但大多数系统产生的是静态预测，缺乏临床推理或交互式解释。多模态大语言模型（MLLM）的最新进展将诊断预测与具有临床意义的对话相结合，以支持临床决策和患者咨询。在本研究中，OcularChat（一种 MLLM）使用模拟的医患对话从 Qwen2.5-VL 微调而来，旨在通过对彩色眼底照片（CFP）进行视觉问答来诊断年龄相关性黄斑变性（AMD）。研究共生成了 705,850 段配对 46,167 张 CFP 的模拟对话，用于训练 OcularChat 识别关键 AMD 特征并产生推理预测。OcularChat 在 AREDS 数据集上展现出强大的分类性能，在晚期 AMD、色素异常和玻璃膜疣大小这三项诊断任务中分别实现了 0.954、0.849 和 0.678 的准确率，显著优于现有的 MLLM。在 AREDS2 数据集上，OcularChat 在所有任务中始终保持最佳性能。在 5 分制临床评分标准下，三位独立的眼科医生评估者对 OcularChat 的平均评分均高于强基线模型，其中晚期 AMD（3.503 对 2.833）、色素异常（3.272 对 2.828）、玻璃膜疣大小（3.064 对 2.433）以及总体印象（2.978 对 2.464）。除了在 AMD 严重程度分类中表现出强大的客观性能外，OcularChat 还展现了提供诊断推理、临床相关解释和交互式对话的能力，并在眼科医生主观评估中取得高分。这些发现表明，MLLM 有望实现对 AMD 准确、可解释且具有临床实用价值的基于图像的诊断与分类。
引用
@article{arxiv.2604.25720,
title = {Toward Multimodal Conversational AI for Age-Related Macular Degeneration},
author = {Ran Gu and Benjamin Hou and Mélanie Hébert and Asmita Indurkar and Yifan Yang and Emily Y. Chew and Tiarnán D. L. Keenan and Zhiyong Lu},
journal= {arXiv preprint arXiv:2604.25720},
year = {2026}
}
备注
38 pages, 4 figures