基于混合 2D-3D 网络的同时对齐与表面回归用于全标注与稀疏标注视网膜 OCT 图像的三维连贯层分割
图像与视频处理
2023-12-07 v1 计算机视觉与模式识别
摘要
层分割对视网膜光学相干断层成像(OCT)的定量分析至关重要。近年来,基于深度学习的方法已被开发用于自动化该任务,并取得了显著的性能。然而,由于 OCT 体数据中各 B 扫描之间存在较大的空间间隙和潜在错位,所有这些方法都基于对单个 B 扫描的二维分割,这可能会丢失视网膜层在三维空间中的连续性与诊断信息。此外,这些方法大多需要对 OCT 体数据进行密集标注,这既耗费人力又需要专业知识。本工作提出了一种基于混合 2D-3D 卷积神经网络(CNN)的新框架,以从 OCT 体数据中获取连续的三维视网膜层表面,且在全标注与稀疏标注下均能良好工作。由二维卷积组成的编码器提取单个 B 扫描的二维特征。这些二维特征随后被用于通过两个由空间变换模块耦合的三维解码器生成对齐位移向量与层分割。我们提出了两种损失函数,分别利用视网膜层天然平滑的特性进行 B 扫描对齐与层分割,这也是稀疏标注下实现半监督学习的关键。整个框架以端到端方式进行训练。据我们所知,这是首个基于 CNN 对体 OCT 图像进行三维视网膜层分割的工作。在一个合成数据集与三个公开临床数据集上的实验表明,我们的框架能够有效对齐 B 扫描以进行潜在的运动校正,并在全监督与半监督设置下,在层分割精度与跨 B 扫描的三维连续性方面均优于当前最先进的二维深度学习方法,从而比以往工作具有更高的临床价值。
引用
@article{arxiv.2312.01726,
title = {Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full and Sparse Annotations},
author = {Hong Liu and Dong Wei and Donghuan Lu and Xiaoying Tang and Liansheng Wang and Yefeng Zheng},
journal= {arXiv preprint arXiv:2312.01726},
year = {2023}
}
备注
Accepted by MIA. arXiv admin note: text overlap with arXiv:2203.02390