探索 CLIP 在糖尿病视网膜病变域泛化中的迁移学习能力
计算机视觉与模式识别
2023-08-29 v1
摘要
糖尿病视网膜病变（Diabetic Retinopathy, DR）是视力受损的主要原因，需要早期检测与治疗。开发用于 DR 分类的鲁棒 AI 模型具有巨大潜力，但关键挑战是确保其在具有不同数据分布的未知域中的泛化能力。为此，本文研究在 DR 分类背景下的跨域泛化，亦称域泛化（Domain Generalization, DG）。DG 是医学领域中的一个具有挑战性的问题，因难以在不同域（如患者人口统计与疾病阶段）收集标注数据而变得复杂。一些近期研究已显示使用 CLIP 处理自然图像中 DG 问题的有效性。在本研究中，我们考察 CLIP 的迁移学习能力及其在糖尿病视网膜病变（DR）分类中跨域泛化的潜力。我们进行了全面实验以评估 CLIP 解决 DR 分类中 DG 问题的效能与潜力。此外，我们引入一种名为带可学习视觉令牌的上下文优化（Context Optimization with Learnable Visual Tokens, CoOpLVT）的多模态微调策略，其通过以视觉特征为条件来增强上下文优化。我们的发现表明，所提方法相较基线将 F1-score 提高了 1.8%，从而凸显其在 DR 分类有效 DG 中的前景。我们的代码公开于 https://github.com/Sanoojan/CLIP-DRDG。
引用
@article{arxiv.2308.14212,
title = {Exploring the Transfer Learning Capabilities of CLIP in Domain Generalization for Diabetic Retinopathy},
author = {Sanoojan Baliah and Fadillah A. Maani and Santosh Sanjeev and Muhammad Haris Khan},
journal= {arXiv preprint arXiv:2308.14212},
year = {2023}
}