中文

UTSRMorph:用于无监督医学图像配准的统一 Transformer 与超分辨率网络

计算机视觉与模式识别 2024-10-29 v1

摘要

复杂的图像配准是医学图像分析中的关键问题,基于深度学习的方法已取得优于传统方法的效果。这些方法包括基于 ConvNet 和基于 Transformer 的方法。尽管 ConvNet 能够通过小邻域卷积有效利用局部信息以减少冗余,但有限的感受野导致其无法捕获全局依赖关系。Transformer 可以通过自注意力机制建立长距离依赖;然而,对所有 token 之间关系的密集计算会导致高冗余。我们提出了一种名为统一 Transformer 与超分辨率(UTSRMorph)网络的新型无监督图像配准方法,该方法能够增强编码器中的特征表示学习,并在解码器中生成详细的位移场以克服这些问题。我们首先提出一个融合注意力块,以整合 ConvNet 和 Transformer 的优势,它将一个基于 ConvNet 的通道注意力模块插入到多头自注意力模块中。重叠注意力块是一种新颖的交叉注意力方法,它使用重叠窗口来获取一对图像中匹配信息的大量相关性。然后,这些块被灵活地堆叠成一个强大的新编码器。解码器从低分辨率特征生成高分辨率形变位移场的过程被视为一个超分辨率过程。具体而言,采用超分辨率模块替代插值上采样,可以克服特征退化。UTSRMorph 在 3D 脑部 MR(OASIS、IXI)和 MR-CT 数据集上与最先进的配准方法进行了比较。定性和定量结果表明,UTSRMorph 取得了相对更好的性能。代码和数据集公开于 https://github.com/Runshi-Zhang/UTSRMorph。

关键词

引用

@article{arxiv.2410.20348,
  title  = {UTSRMorph: A Unified Transformer and Superresolution Network for Unsupervised Medical Image Registration},
  author = {Runshi Zhang and Hao Mo and Junchen Wang and Bimeng Jie and Yang He and Nenghao Jin and Liang Zhu},
  journal= {arXiv preprint arXiv:2410.20348},
  year   = {2024}
}

备注

13pages,10 figures