CLIP-DR：基于排序感知提示的文本知识引导糖尿病视网膜病变分级

糖尿病视网膜病变 (DR) 是糖尿病的一种并发症，通常需要数十年才能发展到影响视力的严重程度。准确且稳健的DR严重程度检测对于及时管理和治疗糖尿病至关重要。然而，大多数当前的DR分级方法对数据变异性（例如彩色视网膜图像）的鲁棒性不足，导致准确和稳健的分级存在显著困难。本文提出一种新颖的DR分级框架 CLIP-DR，基于三个观察：1) 最近的预训练视觉语言模型，如CLIP，在各种下游任务上的泛化能力突出，作为有效的基线模型。2) 图像-文本对的DR评分通常遵循可辨认的自然序列，而大多数现有DR分级方法主要忽视了这一方面。3) DR严重程度水平呈长尾分布，使分级过程复杂化。本文提出一种排序感知提示策略，帮助CLIP模型利用序数信息。具体地，我们依次在相邻文本-图像对之间以两种不同的排序方向设计可学习的提示。此外，我们将 Similarity Matrix Smooth 模块引入 CLIP 结构，以平衡类别分布。最后，我们在 GDRBench 基准上与多个最新方法进行了广泛比较，表明 CLIP-DR 在鲁棒性和卓越性能方面具有优势。实现代码已公开。