L-MAE：用于糖尿病视网膜病变进展预测的具有时间和严重程度感知编码的纵向掩码自编码器
计算机视觉与模式识别
2024-03-26 v1 人工智能
摘要
基于自监督学习（SSL）的预训练策略已被证明是计算机视觉中许多下游任务的有效前置任务。由于医学图像与自然图像之间存在显著差异，典型的 SSL 在医学成像中的应用并不直接。此外，这些前置任务通常缺乏上下文信息，而这对于计算机辅助临床决策支持至关重要。在本文中，我们基于著名的基于 Transformer 的 MAE，开发了一种纵向掩码自编码器（MAE）。特别是，我们探索了时间感知位置嵌入以及疾病进展感知掩码的重要性。考虑检查之间的时间间隔，而不仅仅是安排检查顺序，具有捕捉时间变化和趋势的优势。掩码策略本身在随访过程中演变，以更好地捕捉病理变化，确保对疾病进展进行更准确的评估。使用 OPHDIAT，一个针对糖尿病视网膜病变（DR）的大型随访筛查数据集，我们评估了预训练权重在纵向任务上的表现，该任务是基于过去的时间序列检查来预测未来 3 年内下一次访问的严重程度标签。我们的结果证明了基于疾病进展知识的时间感知位置嵌入和掩码策略的相关性。与流行的基线模型和标准的纵向 Transformer 相比，这些简单而有效的扩展显著增强了深度分类模型的预测能力。
引用
@article{arxiv.2403.16272,
title = {L-MAE: Longitudinal masked auto-encoder with time and severity-aware encoding for diabetic retinopathy progression prediction},
author = {Rachid Zeghlache and Pierre-Henri Conze and Mostafa El Habib Daho and Yihao Li and Alireza Rezaei and Hugo Le Boité and Ramin Tadayoni and Pascal Massin and Béatrice Cochener and Ikram Brahim and Gwenolé Quellec and Mathieu Lamard},
journal= {arXiv preprint arXiv:2403.16272},
year = {2024}
}