用于低标注需求三维到二维分割的基于模态间重建与特征投影网络的自监督学习
图像与视频处理
2024-02-06 v3 计算机视觉与模式识别
摘要
深度学习已成为某些医学图像分割任务自动化的重要工具，显著减轻了医学专家的工作负担。其中部分任务需在输入维度的子集上执行分割，最常见的情况是三维到二维。然而，现有方法的性能强烈依赖于可用标注数据的数量，因为目前尚无已在这些任务上验证过的数据高效方法（如迁移学习）。本工作中，我们提出一种新颖的卷积神经网络（CNN）与自监督学习（SSL）方法，用于低标注需求的三维到二维分割。该 CNN 由三维编码器和二维解码器通过新颖的三维到二维模块连接而成。该 SSL 方法由重建不同维度的模态图像对组成。该方法已在两项具有临床相关性的任务中得到验证：光学相干断层扫描中地图样萎缩与网状假性玻璃膜疣的 en-face 分割。在不同数据集上的结果表明，所提 CNN 在有限标注数据场景下以高达 8% 的 Dice 分数显著改进了当前最优水平。此外，所提 SSL 方法可将该性能进一步提升高达 23%，并且我们表明无论网络架构如何 SSL 均有益处。
引用
@article{arxiv.2307.03008,
title = {Self-supervised learning via inter-modal reconstruction and feature projection networks for label-efficient 3D-to-2D segmentation},
author = {José Morano and Guilherme Aresta and Dmitrii Lachinov and Julia Mai and Ursula Schmidt-Erfurth and Hrvoje Bogunović},
journal= {arXiv preprint arXiv:2307.03008},
year = {2024}
}
备注
To appear in MICCAI 2023. Code: https://github.com/j-morano/multimodal-ssl-fpn