MulModSeg：基于调制条件文本嵌入和交替训练的无配对多模态医学图像分割
偏微分方程分析
2024-11-26 v1
摘要
在医学影像领域，自动分割具有诸多应用场景，需处理各种输入域，如不同的 CT 扫描和磁共振 (MR) 图像。这种异构性挑战了自动分割算法在不同模态下保持一致性能，因为需要空间对齐且配对的图像。分割模型通常仅使用单一模态训练，限制了其在无需迁移学习技术的情况下对其他输入数据的泛化能力。此外，利用不同模态的互补信息来提高分割精度通常需要对流行的编码器-解码器设计进行大量修改，例如引入每个模态的多个分支编码或解码路径。本文提出一种简单的数模态分割 (MulModSeg) 策略，以增强 CT 和 MR 两种模态下的医学图像分割。它包含两个关键设计：通过冻结文本编码器实现调制条件文本嵌入框架，为现有分割框架添加模态感知能力，无需显著修改结构或增加计算开销；以及一种交替训练程序，促进来自无配对 CT 和 MR 输入中关键特征的集成。通过大量实验，使用全卷积网络和基于 Transformer 的主干网络，MulModSeg 在 CT 和 MR 两种模态下，对腹部多器器和心脏亚结构进行分割， consistently 优于先前方法。代码已在链接中提供。
引用
@article{arxiv.2411.15575,
title = {A hyperbolic relaxation system of the incompressible Navier-Stokes equations with artificial compressibility},
author = {Qian Huang and Christian Rohde and Wen-An Yong and Ruixi Zhang},
journal= {arXiv preprint arXiv:2411.15575},
year = {2024}
}
备注
18 pages