块展开 DINORET：无灾难性遗忘地 adapting 自然域基石模型用于视网膜成像
摘要
将深度学习集成到医学影像领域将极大推动诊断方法的发展，但在可通用性方面面临挑战。基石模型基于自监督学习，旨在解决这些问题并提高数据效率。自然域基石模型在医学影像中显示出前景，但针对域适应的系统性研究，尤其是使用自监督学习和参数高效微调，仍属underexplored领域。此外，很少有研究关注在基石模型微调期间发生灾难性遗忘的问题。我们采用自监督学习方法，将 DINOv2 视觉变换器适用于视网膜成像分类任务，并生成两种新型基石模型，称为 DINORET 和 BE DINORET。采用了可公开获取的彩色视网膜底片，用于模型开发及后续针对糖尿病视网膜病变分期和青光眼检测进行微调。我们引入块展开作为一种新颖的域适应策略，并评估这些模型是否存在灾难性遗忘。模型在视网膜成像任务上与 RETFound（眼科领域的领先基石模型）进行了基准测试。DINORET 和 BE DINORET 在视网膜成像任务上表现出竞争力，其中块展开模型在大多数数据集上取得最高分数。块展开成功地缓解了灾难性遗忘。我们的few-shot学习研究表明，DINORET 和 BE DINORET 在数据效率方面优于 RETFound。本研究凸显了利用自监督学习和块展开将自然域视觉模型适用于视网膜成像的潜力。BE DINORET 在不牺牲先前获取能力的前提下，提供了稳健的性能。我们的发现表明，这些方法可能使医疗机构能够为其患者群体开发定制视觉模型，从而提升全球医疗保健的包容性。
引用
@article{arxiv.2409.17332,
title = {Block Expanded DINORET: Adapting Natural Domain Foundation Models for Retinal Imaging Without Catastrophic Forgetting},
author = {Jay Zoellin and Colin Merk and Mischa Buob and Amr Saad and Samuel Giesser and Tahm Spitznagel and Ferhat Turgut and Rui Santos and Yukun Zhou and Sigfried Wagner and Pearse A. Keane and Yih Chung Tham and Delia Cabrera DeBuc and Matthias D. Becker and Gabor M. Somfai},
journal= {arXiv preprint arXiv:2409.17332},
year = {2024}
}
备注
J.Zoellin, C. Merk and M. Buob contributed equally as shared-first authors. D. Cabrera DeBuc, M. D. Becker and G. M. Somfai contributed equally as senior authors for this work