基于关键点的血管结构对齐网络用于多模态视网膜图像配准

在眼科成像中，常涉及彩色眼底、红外、荧光素血管造影、光学相干断层扫描（OCT）或 OCT 血管造影等多种成像系统以诊断视网膜疾病。多模态视网膜配准技术可通过提供来自不同模态或采集时间的对齐血管结构的像素级比较来辅助眼科医生。为此，我们提出一种端到端可训练的深度学习方法用于多模态视网膜图像配准。我们的方法从血管结构中提取卷积特征以进行关键点检测与描述，并使用图神经网络进行特征匹配。关键点检测与描述网络及图神经网络利用合成多模态图像对以自监督方式联合训练，并由合成采样的真实单应矩阵引导。我们的方法在合成视网膜数据集上展现出高于对比方法的配准精度，并对真实黄斑数据集和公共眼底数据集具有良好的泛化能力。