UOPSL：用于眼底图像诊断增强的无配对 OCT 病灶定位学习
计算机视觉与模式识别
2025-09-11 v1 人工智能
摘要
AI 驱动的多模态医学图像诊断在最近几年取得了显著进展，显著提升了眼科疾病识别能力。然而获取配对的多模态眼科图像成本极高。虽然眼底摄影简单且成本效益高，但 OCT 数据的有限 availability 以及模态之间的固有不平衡仍阻碍了进一步的进展。依赖单一眼底图像或文本特征的传统方法往往无法捕捉细粒度的空间信息，因为每个成像模态都提供关于病灶定位的独特线索。本研究提出了一种新型无配对多模态框架 UOPSL，该框架利用大量 OCT 派生的空间先验信息，动态识别病灶定位点，增强基于眼底图像的疾病识别。该方法通过扩展的疾病文本描述桥接了无配对的眼底图像和 OCT 数据。初始阶段，我们在大规模无配对 OCT 与眼底图像上进行对比学习，同时在 OCT 潜在空间中学习病灶定位矩阵。通过广泛优化，该矩阵在 OCT 特征空间中捕捉病灶局部分布模式。在基于单独眼底图像的下游分类任务的微调或推理阶段（此时无法获取配对的 OCT 数据），我们省去 OCT 输入，仅使用病灶定位矩阵辅助眼底图像分类学习。在9个包含28个关键类别的多样化数据集上进行的广泛实验表明，我们的方法超越了现有基准。
引用
@article{arxiv.2509.08624,
title = {UOPSL: Unpaired OCT Predilection Sites Learning for Fundus Image Diagnosis Augmentation},
author = {Zhihao Zhao and Yinzheng Zhao and Junjie Yang and Xiangtong Yao and Quanmin Liang and Daniel Zapp and Kai Huang and Nassir Navab and M. Ali Nasseri},
journal= {arXiv preprint arXiv:2509.08624},
year = {2025}
}
备注
BIBM