H-DenseFormer：一种用于多模态肿瘤分割的高效混合密集连接 Transformer
图像与视频处理
2023-07-06 v1 计算机视觉与模式识别
摘要
近年来，深度学习方法已广泛用于多模态医学图像的肿瘤分割，并取得了有前景的结果。然而，大多数现有方法受限于表征能力不足、模态数量固定以及计算复杂度高。本文提出一种用于肿瘤分割的混合密集连接网络，称为 H-DenseFormer，它结合了卷积神经网络（CNN）与 Transformer 结构的表征能力。具体而言，H-DenseFormer 集成了一个基于 Transformer 的多路径并行嵌入（MPE）模块，该模块可将任意数量的模态作为输入，以从不同模态中提取融合特征。随后，多模态融合特征被传递至编码器的不同层级，以增强多模态学习表征。此外，我们设计了一个轻量级的密集连接 Transformer（DCT）块来替代标准 Transformer 块，从而显著降低计算复杂度。我们在两个公开多模态数据集 HECKTOR21 和 PI-CAI22 上进行了大量实验。实验结果表明，我们所提方法在具有更低计算复杂度的同时，优于现有的最先进方法。源代码可在 https://github.com/shijun18/H-DenseFormer 获取。
引用
@article{arxiv.2307.01486,
title = {H-DenseFormer: An Efficient Hybrid Densely Connected Transformer for Multimodal Tumor Segmentation},
author = {Jun Shi and Hongyu Kan and Shulan Ruan and Ziqi Zhu and Minfan Zhao and Liang Qiao and Zhaohui Wang and Hong An and Xudong Xue},
journal= {arXiv preprint arXiv:2307.01486},
year = {2023}
}
备注
11 pages, 2 figures. This paper has been accepted by Medical Image Computing and Computer-Assisted Intervention(MICCAI) 2023