U-Net 与 Transformer：在医学图像配准中 U-Net 是否已过时？
图像与视频处理
2022-08-16 v2 计算机视觉与模式识别
摘要
由于其极长的远程建模能力，基于视觉 transformer 的网络在可变形图像配准中日益流行。然而，我们认为 5 层卷积 U-Net 的 receptive field（感受野）足以捕捉准确形变而无需远程依赖。因此，本研究的目的是探究在医学图像配准中，基于 U-Net 的方法相较于现代基于 transformer 的方法是否已过时。为此，我们通过将并行卷积块嵌入朴素 U-Net 提出大核 U-Net（LKU-Net），以增强有效感受野。在用于基于图谱配准的公开 3D IXI 脑数据集上，我们显示朴素 U-Net 的性能已与最先进（SOTA）的基于 transformer 的网络（如 TransMorph）相当，且所提 LKU-Net 仅使用其 1.12% 的参数和 10.8% 的乘加运算便优于 TransMorph。我们进一步在 MICCAI Learn2Reg 2021 挑战赛数据集上评估 LKU-Net 用于受试者间配准，我们的 LKU-Net 在该数据集上同样优于 TransMorph，并在本工作提交时位列公开排行榜第一。仅对朴素 U-Net 做适度修改，我们便显示 U-Net 可在受试者间及基于图谱的 3D 医学图像配准上超越基于 transformer 的架构。代码见 https://github.com/xi-jia/LKU-Net。
引用
@article{arxiv.2208.04939,
title = {U-Net vs Transformer: Is U-Net Outdated in Medical Image Registration?},
author = {Xi Jia and Joseph Bartlett and Tianyang Zhang and Wenqi Lu and Zhaowen Qiu and Jinming Duan},
journal= {arXiv preprint arXiv:2208.04939},
year = {2022}
}
备注
Accepted to MICCAI-MLMI 2022