应用于视觉 Transformer 的简易鲁棒跨模态医学图像分割框架
图像与视频处理
2024-02-28 v1 计算机视觉与模式识别
机器学习
摘要
对于临床图像而言，自动分割具有广泛应用，且输入域相当多样，例如不同类型的磁共振图像（MRIs）与计算机断层扫描（CT）。这种异质性对跨模态算法构成挑战，后者应无论输入图像类型如何均能同等发挥作用。分割模型常使用单一模态训练，若不借助迁移学习技术便无法泛化到其他输入数据类型。此外，文献中提出的多模态或跨模态架构常需要配准图像（在临床环境中不易获取），或需要额外处理步骤（如合成图像生成）。本工作中，我们提出一个简易框架，使用单一条件模型（基于输入类型调整其归一化层）并以未配准的交错混合数据训练，来实现多模态的公平图像分割。我们表明，在 Multi-Modality Whole Heart Segmentation Challenge 上，应用于相同 3D UNet 基线模型时，我们的框架优于其他跨模态分割方法。此外，我们基于所提跨模态框架定义了条件视觉 Transformer（C-ViT）编码器，并表明其相较基线参考带来了分割结果的显著提升，Dice 精度最高提升 6.87%。用于复现实验的代码与训练好的模型权重见 https://github.com/matteo-bastico/MI-Seg。
引用
@article{arxiv.2310.05572,
title = {A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers},
author = {Matteo Bastico and David Ryckelynck and Laurent Corté and Yannick Tillier and Etienne Decencière},
journal= {arXiv preprint arXiv:2310.05572},
year = {2024}
}
备注
This paper has been accepted in International Conference on Computer Vision Workshops (ICCVW) 2023