HST-MRF：用于医学图像分割的异质Swin Transformer与多感受野模型
计算机视觉与模式识别
2024-12-24 v1
摘要
Transformer凭借其优异的长程建模能力已成功应用于医学图像分割。然而，构建Transformer类模型时须进行图像块分割，该过程可能破坏医学图像中的组织结构，导致相关信息丢失。本研究提出一种基于U形网络的异质Swin Transformer与多感受野（HST-MRF）模型用于医学图像分割，主要目的为通过融合不同感受野下的图像块信息，解决Transformer图像块分割造成的结构信息丢失问题。异质Swin Transformer（HST）为核心模块，通过异质注意力实现多感受野图像块信息的交互，并传递至下一阶段进行渐进式学习。我们还设计了两阶段融合模块——多模态双线性池化（MBP），以辅助HST进一步融合多感受野信息并结合低层与高层语义信息，实现病灶区域的准确定位。此外，我们开发了自适应图像块嵌入（APE）与软通道注意力（SCA）模块，分别在获取图像块嵌入与过滤通道特征时保留更多有价值信息，从而提升模型分割质量。我们在多个数据集上针对息肉与皮肤病变分割任务评测了HST-MRF。实验结果表明，所提方法优于当前最先进模型，并取得更优性能。此外，我们通过消融实验验证了各模块的有效性以及多感受野分割在减少结构信息丢失方面的益处。
引用
@article{arxiv.2304.04614,
title = {HST-MRF: Heterogeneous Swin Transformer with Multi-Receptive Field for Medical Image Segmentation},
author = {Xiaofei Huang and Hongfang Gong and Jin Zhang},
journal= {arXiv preprint arXiv:2304.04614},
year = {2024}
}