MouseGAN++：用于小鼠脑多 MRI 模态合成与结构分割的无监督解耦与对比表示
图像与视频处理
2022-12-06 v1 计算机视觉与模式识别
摘要
在磁共振（MR）图像上分割小鼠脑精细结构对于描绘形态区域、分析脑功能及理解其关系至关重要。与单一 MRI 模态相比，多模态 MRI 数据提供互补的组织特征，可被深度学习模型利用，从而获得更好的分割结果。然而，多模态小鼠脑 MRI 数据常常缺失，使得小鼠脑精细结构的自动分割成为一项极具挑战的任务。为解决此问题，有必要融合多模态 MRI 数据以在不同脑结构中产生显著对比。因此，我们提出了一种新颖的基于解耦与对比 GAN 的框架，名为 MouseGAN++，以结构保持的方式从单模态合成多模态 MR 图像，从而通过填补缺失模态与多模态融合来提升分割性能。我们的结果表明，本方法的转换性能优于最先进（state-of-the-art）方法。利用随后学习的模态不变信息以及模态转换图像，MouseGAN++ 可分割精细脑结构，平均 Dice 系数分别为 90.0%（T2w）与 87.9%（T1w），相较最先进算法实现约 +10% 的性能提升。我们的结果表明，MouseGAN++ 作为一种同步图像合成与分割方法，可用于以非配对方式融合跨模态信息，并在缺失多模态数据时产生更鲁棒的性能。我们将本方法作为小鼠脑结构分割工具发布供学术免费使用：https://github.com/yu02019。
引用
@article{arxiv.2212.01825,
title = {MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain},
author = {Ziqi Yu and Xiaoyang Han and Shengjie Zhang and Jianfeng Feng and Tingying Peng and Xiao-Yong Zhang},
journal= {arXiv preprint arXiv:2212.01825},
year = {2022}
}
备注
IEEE Transactions on Medical Imaging (IEEE-TMI) 2022