OCT-SelfNet：一种利用多模态数据集进行泛化且鲁棒的视网膜疾病检测的自监督框架
计算机视觉与模式识别
2024-01-24 v1 人工智能
机器学习
摘要
尽管人工智能具有革命性的影响，并且本地训练算法得到了发展，但在医学人工智能中实现从多模态数据中广泛泛化的学习仍然是一个重大挑战。这一差距阻碍了可扩展的医学人工智能解决方案的实际部署。为了应对这一挑战，我们的研究贡献了一个自监督鲁棒机器学习框架 OCT-SelfNet，用于使用光学相干断层扫描（OCT）图像检测眼部疾病。在这项工作中，来自不同机构的多个数据集被合并，从而实现了更全面的表征范围。我们的方法通过提供一个面向真实世界临床部署的解决方案，采用两阶段训练方法，结合了自监督预训练和基于 SwinV2 主干的掩码自编码器的监督微调。在三个数据集上使用不同编码器主干、低数据设置、未见数据设置以及数据增强效果进行的广泛实验表明，我们的方法优于基线模型 Resnet-50，在所有测试中始终达到超过 77% 的 AUC-ROC 性能，而基线模型超过 54%。此外，在 AUC-PR 指标方面，我们提出的方法超过了 42%，与仅超过 33% 的基线相比，性能至少提升了 10%。这有助于我们理解该方法的潜力，并强调了其在临床环境中的实用性。
引用
@article{arxiv.2401.12344,
title = {OCT-SelfNet: A Self-Supervised Framework with Multi-Modal Datasets for Generalized and Robust Retinal Disease Detection},
author = {Fatema-E Jannat and Sina Gholami and Minhaj Nur Alam and Hamed Tabkhi},
journal= {arXiv preprint arXiv:2401.12344},
year = {2024}
}
备注
12 pages, 7 figures, 6 tables