MRI 医学图像分割中的域影响：空间域与 k 域输入

Transformer 网络应用于图像块在许多视觉任务中取得了领先性能。然而，缺乏卷积神经网络（CNN）对局部图像统计的内置偏差，使得它们需要大量数据和修改才能捕获块之间的关系，尤其是在分割任务中。频域中的图像可能更适合注意力机制，因为局部特征被全局表示。通过将图像转换为频域，局部特征被全局表示。由于 MRI 数据获取特性，这些图像尤其适合。本工作探讨了图像域（空间域或 k 域）如何影响深度学习（DL）模型的分割结果，专注于基于注意力的网络和其他基于 MLP 的非卷积模型。我们也检查了当输入图像位于频域时，Transformer 网络是否需要额外的位置编码。为进行评估，我们提出了脑骨 stripping 任务和脑组织分割任务。所用的基于注意力的模型包括 PerceiverIO 和 vanilla Transformer 编码器。为与非注意力模型进行比较，也训练并测试了 MLP 和 ResMLP。结果与采用最先进的医学图像分割模型 Swin-Unet 进行比较。实验结果表明，使用 k 域作为输入域可显著提高分割结果。此外，如果输入位于频域，额外的位置编码似乎对基于注意力的网络没有什么帮助。尽管没有模型匹配 Swin-Unet 的性能，但不同域选择下的较简单模型显示了有前景的改进。