Multi-OCT-SelfNet：融合自监督学习与多源数据以增强多类视网膜疾病分类

在医学领域，由于隐私问题，获取大规模数据集面临重大挑战。然而，开发一个用于视网膜疾病诊断的鲁棒深度学习模型需要大量数据进行训练。在较小数据集上有效泛化的能力仍然是一个持续存在的难题。数据稀缺为可扩展医学人工智能解决方案的实际部署带来了显著障碍。为了解决这个问题，我们整合了广泛的数据源，通过让模型更深入地理解多模态数据集的数据表示，来提高性能和对新数据的泛化能力，并开发了一个基于大语言模型（LLMs）和 SwinV2 的自监督框架，以更深入地理解多模态数据集表示，增强模型将知识外推至新数据的能力，从而利用光学相干断层扫描（OCT）图像检测眼部疾病。我们采用两阶段训练方法：自监督预训练，以及在下游监督分类器上进行微调。在三个数据集上进行的消融研究，涵盖了使用不同编码器骨干网络、无数据融合、低数据可用性设置以及无自监督预训练的场景，凸显了我们方法的鲁棒性。我们的发现证明了在这些不同条件下性能的一致性，展示了与基线模型 ResNet-50 相比更优越的泛化能力。