基于课程解耦学习的利用特权半配对MRI图像的多模态脑肿瘤分割
计算机视觉与模式识别
2022-08-29 v1
摘要
由于临床中获取多模态配对图像困难，近期研究提出使用未配对图像训练脑肿瘤分割模型，并通过模态翻译捕获互补信息。然而，这些模型无法充分利用不同模态的互补信息。为此，本文提出一种新颖的两步（模态内与模态间）课程解耦学习框架，以有效利用特权半配对图像（即仅在训练时可用的有限配对图像）进行脑肿瘤分割。具体而言，第一步中，我们提出利用增强的模态内风格一致图像进行重建与分割。第二步中，模型对未配对与配对的模态间图像联合执行重建、无监督/有监督翻译及分割。此步骤提出内容一致性损失与有监督翻译损失，以利用不同模态的互补信息。通过这两步，我们的方法从输入图像中有效提取描述组织特征衰减与图像对比度的模态特定风格编码，以及包含解剖与功能信息的模态不变内容编码。在三个脑肿瘤分割任务上的实验表明，我们的模型优于基于未配对图像的对比分割模型。
引用
@article{arxiv.2208.12781,
title = {Learning Multi-Modal Brain Tumor Segmentation from Privileged Semi-Paired MRI Images with Curriculum Disentanglement Learning},
author = {Zecheng Liu and Jia Wei and Rui Li},
journal= {arXiv preprint arXiv:2208.12781},
year = {2022}
}
备注
8 pages, 10 figures