MEMO：用于具有大或小血管密度差异的鲁棒多模态视网膜图像配准的数据集与方法
图像与视频处理
2024-07-16 v2 计算机视觉与模式识别
摘要
毛细血管中视网膜血流（RBF）的测量可为眼部疾病的早期诊断和治疗提供有力的生物标志物。然而，没有任何单一模态能够高精度地确定毛细血管流速。将红细胞介导血管造影（EMA）与光学相干断层扫描血管造影（OCTA）相结合有潜力实现这一目标，因为 EMA 可测量视网膜微血管的绝对二维 RBF，而 OCTA 可提供毛细血管的三维结构图像。然而，这两种模态之间的多模态视网膜图像配准在很大程度上仍未被探索。为填补这一空白，我们建立了 MEMO，首个公开的多模态 EMA 与 OCTA 视网膜图像数据集。这些模态间多模态视网膜图像配准的一个独特挑战是血管密度（VD）差异相对较大。为应对这一挑战，我们提出了一种基于分割的深度学习框架（VDD-Reg）和一种新的评价指标（MSD），其在血管密度差异下仍能提供鲁棒结果。VDD-Reg 由一个血管分割模块和一个配准模块组成。为训练血管分割模块，我们进一步设计了一个结合有监督与无监督损失的两阶段半监督学习框架（LVD-Seg）。我们证明，对于小 VD 差异（使用 CF-FA 数据集）和大 VD 差异（使用我们的 MEMO 数据集）的情况，VDD-Reg 在定量和定性上均优于基线方法。此外，VDD-Reg 仅需少至三张标注的血管分割掩码即可保持其精度，证明了其可行性。
引用
@article{arxiv.2309.14550,
title = {MEMO: Dataset and Methods for Robust Multimodal Retinal Image Registration with Large or Small Vessel Density Differences},
author = {Chiao-Yi Wang and Faranguisse Kakhi Sadrieh and Yi-Ting Shen and Shih-En Chen and Sarah Kim and Victoria Chen and Achyut Raghavendra and Dongyi Wang and Osamah Saeedi and Yang Tao},
journal= {arXiv preprint arXiv:2309.14550},
year = {2024}
}
备注
Biomedical Optics Express