面向多中心糖尿病视网膜病变诊断的 LLM 驱动语义消歧路径感知原型演化
人工智能
2025-12-01 v1
摘要
糖尿病视网膜病变 (DR) 评分在早期临床干预和视力保存中起着关键作用。近期研究主要 focus 于通过数据处理和领域解耦策略提取视觉病灶特征，但普遍忽视了领域不变的病理模式且未充分利用基础模型的丰富上下文知识，仅依赖视觉信息不足以区分细微的病理差异。因此，我们提出将细粒度病理描述整合到原型中，以补充上下文，解决边缘案例的歧义问题。具体而言，我们提出了层次化锚定原型调制 (HAPM) 框架以促进 DR 评分。首先，我们引入基于方差谱的锚定原型库，保留领域不变的病理模式。进一步采用层次化差分提示门控机制，从 LVLM 和 LLM 源中动态选择判别性语义提示，以解决相邻 DR 评分之间的语义混淆。最后，我们采用两阶段原型调制策略，通过病理语义注入器 (PSI) 和判别性原型增强器 (DPE) 渐进式地将临床知识整合到视觉原型中。八个公开数据集上的大量实验表明，我们的方法在实现病理引导的原型演化方面优于最新方法。代码已公开于 https://github.com/zhcz328/HAPM。
引用
@article{arxiv.2511.22033,
title = {Pathology-Aware Prototype Evolution via LLM-Driven Semantic Disambiguation for Multicenter Diabetic Retinopathy Diagnosis},
author = {Chunzheng Zhu and Yangfang Lin and Jialin Shao and Jianxin Lin and Yijun Wang},
journal= {arXiv preprint arXiv:2511.22033},
year = {2025}
}
备注
ACMMM 2025