用于仿射与可变形图像联合配准的非迭代由粗到细 Transformer 网络
计算机视觉与模式识别
2023-10-03 v1 人工智能
图像与视频处理
摘要
图像配准是医学图像分析的基本需求。基于深度学习的深度配准方法因其能够快速进行端到端配准而得到广泛认可。许多深度配准方法通过由粗到细的配准取得了最先进的性能，其中多个配准步骤由级联网络迭代执行。近来，非迭代由粗到细（NICE）配准方法被提出，以单一网络执行由粗到细配准，并在配准精度与运行时间上均展现出优势。然而，现有 NICE 配准方法主要关注可变形配准，而作为常见前置步骤的仿射配准仍依赖于耗时的传统基于优化的方法或额外的仿射配准网络。此外，现有 NICE 配准方法受限于卷积运算固有的局部性。Transformers 因其捕捉长程依赖的能力或可解决此局限，但将 transformers 用于 NICE 配准的益处尚未被探索。在本研究中，我们提出一种用于图像配准的非迭代由粗到细 Transformer 网络（NICE-Trans）。我们的 NICE-Trans 是首个（i）在单一网络内执行联合仿射与可变形由粗到细配准，且（ii）将 transformers 嵌入 NICE 配准框架以建模图像间长程相关性的深度配准方法。在七个公开数据集上的大量实验表明，我们的 NICE-Trans 在配准精度与运行时间上均优于最先进的配准方法。
引用
@article{arxiv.2307.03421,
title = {Non-iterative Coarse-to-fine Transformer Networks for Joint Affine and Deformable Image Registration},
author = {Mingyuan Meng and Lei Bi and Michael Fulham and Dagan Feng and Jinman Kim},
journal= {arXiv preprint arXiv:2307.03421},
year = {2023}
}
备注
Accepted at International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2023)