Mirror U-Net：将多模态裂变与多任务学习结合用于医学影像语义分割
图像与视频处理
2023-03-14 v1 计算机视觉与模式识别
摘要
正电子发射断层扫描（PET）与计算机断层扫描（CT）常联合用于肿瘤检测。PET/CT分割模型可自动化肿瘤勾画，然而当前多模态模型未充分利用各模态中的互补信息，因其要么拼接PET与CT数据，要么在决策层融合。为此，我们提出Mirror U-Net，以多模态裂变取代传统融合方法，将多模态表示分解为模态特定分支与一个辅助多模态解码器。在这些分支上，Mirror U-Net为每个模态分配定制任务，以强化单模态特征，同时在共享表示中保留多模态特征。与先前仅使用裂变或多任务学习的方法不同，Mirror U-Net将两种范式结合于统一框架。我们探索多种任务组合并考察模型中哪些参数应共享。我们在AutoPET PET/CT与多模态MSD BrainTumor数据集上评估Mirror U-Net，证明其多模态分割有效性并在两数据集上达到SOTA性能。我们的代码将公开。
引用
@article{arxiv.2303.07126,
title = {Mirror U-Net: Marrying Multimodal Fission with Multi-task Learning for Semantic Segmentation in Medical Imaging},
author = {Zdravko Marinov and Simon Reiß and David Kersting and Jens Kleesiek and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2303.07126},
year = {2023}
}
备注
8 pages; 8 figures; 5 tables