医学图像分割的多模态信息交互
计算机视觉与模式识别
2024-04-26 v1
摘要
多模态数据在辅助诊断和分割中的应用日益成为当前研究的热点，但主要挑战之一是如何有效融合多模态特征。大多数现有方法在特征集成方面投入注意力，却忽略了不同模态特征之间的相关性和一致性，从而可能引入无关信息。为此，我们提出一种创新的多模态信息交叉变换器（MicFormer），采用双流架构同时提取每个模态的特征。利用交叉变换器，它查询一个模态的特征并从另一个模态中检索相应响应，从而促进双模态特征之间的有效交互。此外，我们引入可变形变换器架构以扩大搜索空间。我们在 MM-WHS 数据集上进行了实验。在 CT-MRI 多模态图像分割任务中，我们成功地将整个心脏分割的 DICE 分数提升至 85.57，MIoU 提升至 75.51。与其他多模态分割技术相比，我们的方法分别在两个指标上取得了 2.83 和 4.23 的提升。这表明了 MicFormer 在集成多模态任务中不同模态之间相关信息的有效性。这些发现对多模态图像任务具有重要意义，我们认为 MicFormer 在更广泛的应用领域具有巨大的潜力。我们的 метод 可在 https://github.com/fxxJuses/MICFormer 获得。
引用
@article{arxiv.2404.16371,
title = {Multimodal Information Interaction for Medical Image Segmentation},
author = {Xinxin Fan and Lin Liu and Haoran Zhang},
journal= {arXiv preprint arXiv:2404.16371},
year = {2024}
}