COSMOS：基于目标感知域翻译与迭代自训练的三维医学图像分割跨模态无监督域适应
图像与视频处理
2023-12-20 v2 计算机视觉与模式识别
摘要
近期基于深度学习的医学图像分割研究在完全监督条件下取得了接近人类水平的性能。然而，在医学影像领域获取像素级专家标注极其昂贵且费力。无监督域适应可缓解此问题，使得利用一种成像模态的标注数据训练网络并成功在无标签的目标成像模态上执行分割成为可能。本工作中，我们提出一种基于自训练的三维医学图像分割无监督域适应框架 COSMOS，并在高分辨率 T2 磁共振图像（MRI）上针对前庭神经鞘瘤（VS）和耳蜗的自动分割进行了验证。我们的目标感知对比转换网络将源域标注的 T1 MRI 转换为伪 T2 MRI，以启用目标域上的分割训练，同时在转换图像中保留感兴趣的重要解剖特征。随后进行迭代自训练，将无标签数据纳入训练并逐步提升伪标签质量，从而改善分割性能。COSMOS 在与中国计算机辅助介入第 24 届国际会议（MICCAI 2021）联合举办的跨模态域适应（crossMoDA）挑战赛中荣获第一名。其对 VS 取得平均 Dice 分数和平均对称表面距离分别为 0.871(0.063) 和 0.437(0.270)，对耳蜗分别为 0.842(0.020) 和 0.152(0.030)。
引用
@article{arxiv.2203.16557,
title = {COSMOS: Cross-Modality Unsupervised Domain Adaptation for 3D Medical Image Segmentation based on Target-aware Domain Translation and Iterative Self-Training},
author = {Hyungseob Shin and Hyeongyu Kim and Sewon Kim and Yohan Jun and Taejoon Eo and Dosik Hwang},
journal= {arXiv preprint arXiv:2203.16557},
year = {2023}
}
备注
10 pages, 6 figures, MICCAI 2021 Cross-Modality Domain Adaptation (crossMoDA) Challenge