ICMSC:用于髋关节骨分割无监督域适应的模态内与跨模态语义一致性
计算机视觉与模式识别
2020-12-24 v1 人工智能
摘要
用于跨模态医学图像分割的无监督域适应(UDA)通过域不变特征学习或图像外观翻译取得了很大进展。自适应特征学习通常无法在像素级检测域偏移,并且难以在密集语义分割任务中取得良好结果。图像外观翻译(如 CycleGAN)将图像翻译为具有良好外观的不同风格,尽管其应用广泛,但其语义一致性难以保持并导致较差的跨模态分割。本文中,我们提出用于 UDA 的模态内与跨模态语义一致性(ICMSC),我们的核心见解是不同风格的合成图像的分割应当一致。具体而言,我们的模型由图像翻译模块和域特定分割模块组成。图像翻译模块是一个标准 CycleGAN,而分割模块包含两个域特定分割网络。模态内语义一致性(IMSC)迫使循环后的重建图像以与原始输入图像相同的方式被分割,而跨模态语义一致性(CMSC)鼓励翻译后的合成图像被分割得与翻译前完全相同。在跨模态髋关节骨分割上的综合实验结果表明了我们提出方法的有效性,其在髋臼上取得了平均 DICE 81.61%、在股骨近端上取得了 88.16%,优于其他最先进的方法。值得注意的是,若无 UDA,在 CT 上训练的髋关节骨分割模型不可迁移至 MRI,且分割 DICE 几乎为零。
引用
@article{arxiv.2012.12570,
title = {ICMSC: Intra- and Cross-modality Semantic Consistency for Unsupervised Domain Adaptation on Hip Joint Bone Segmentation},
author = {Guodong Zeng and Till D. Lerch and Florian Schmaranzer and Guoyan Zheng and Juergen Burger and Kate Gerber and Moritz Tannast and Klaus Siebenrock and Nicolas Gerber},
journal= {arXiv preprint arXiv:2012.12570},
year = {2020}
}
备注
12 pages, 3 figures, submitted to IPMI 2021