基于元数据增强的视网膜光学相干断层扫描图像对比学习
计算机视觉与模式识别
2024-07-29 v3
摘要
深度学习有潜力实现医学图像中疾病的自动筛查、监测与分级。利用对比学习进行预训练可使模型从自然图像数据集中提取鲁棒且可泛化的特征，从而促进标签高效的下游图像分析。然而，将常规对比方法直接应用于医学数据集会带来两个领域特定问题。首先，若干被证明对有效对比学习至关重要的图像变换无法从自然图像领域迁移到医学图像领域。其次，常规方法所假设的任意两幅图像不相似，在描绘相同解剖结构与疾病的医学数据集中是系统性误导的。在纵向图像数据集中，这一问题因对同一患者队列反复成像以监测其疾病进展而加剧。本文中，我们通过以新颖的元数据增强策略扩展常规对比框架来解决这些问题。我们的方法利用广泛可用的患者元数据来近似图像间对比关系的真实集合。为此，我们采用患者身份、眼别（即左或右）以及时间序列信息的记录。在使用包含两个大型纵向数据集（含 7,912 名年龄相关性黄斑变性（AMD）患者的 170,427 张视网膜 OCT 图像）的实验中，我们评估了利用元数据将疾病进展的时间动态纳入预训练的效用。我们的元数据增强方法在六项与 AMD 相关的图像级下游任务中有五项优于标准对比方法与一个视网膜图像基础模型。由于其模块化特性，我们的方法可快速且经济地测试，以确定在对比预训练中包含可用元数据的潜在收益。
引用
@article{arxiv.2208.02529,
title = {Metadata-enhanced contrastive learning from retinal optical coherence tomography images},
author = {Robbie Holland and Oliver Leingang and Hrvoje Bogunović and Sophie Riedl and Lars Fritsche and Toby Prevost and Hendrik P. N. Scholl and Ursula Schmidt-Erfurth and Sobha Sivaprasad and Andrew J. Lotery and Daniel Rueckert and Martin J. Menten},
journal= {arXiv preprint arXiv:2208.02529},
year = {2024}
}