HUMUS-Net：用于加速 MRI 重建的混合展开多尺度网络架构

在加速 MRI 重建中，患者的解剖结构从一组欠采样且含噪的测量中恢复。深度学习方法已被证明能成功解决这一病态逆问题，并能够产生非常高质量的重建。然而，当前架构严重依赖卷积，卷积是内容无关的，且难以建模图像中的长程依赖。近来，作为当代自然语言处理主力模型的 Transformer 已成为多种视觉任务的强大构建模块。这些模型将输入图像分割为不重叠的图像块，将图像块嵌入为低维 token，并利用自注意力机制，该机制不存在上述卷积架构的弱点。然而，当 1）输入图像分辨率高，以及 2）为保留精细细节信息需将图像分割为大量图像块时，Transformer 会带来极高的计算和内存开销，这两者都是诸如 MRI 重建等底层视觉问题的典型情况，并产生复合效应。为应对这些挑战，我们提出 HUMUS-Net，一种混合架构，将卷积的有益归纳偏置和效率与 Transformer 模块的能力结合在展开多尺度网络中。HUMUS-Net 通过卷积块提取高分辨率特征，并通过一种新颖的基于 Transformer 的多尺度特征提取器细化低分辨率特征。来自两个层级的特征随后被合成为高分辨率输出重建。我们的网络在最大的公开可用 MRI 数据集 fastMRI 上确立了新的最先进水平。我们进一步在两个其他流行 MRI 数据集上展示了 HUMUS-Net 的性能，并进行了细粒度消融研究以验证我们的设计。