超级图像——一种用于3D医学影像分析的2D新视角

在医学影像分析中，深度学习已展现出有前景的结果。我们常依赖体数据来分割医学图像，因而需要使用3D架构，其因能捕获切片间上下文而受推崇。然而，由于这些网络中使用的3D卷积、最大池化、上卷积及其他操作，这些架构在时间和计算上往往比其2D对应物更低效。此外，3D预训练模型权重很少，且预训练通常困难。我们提出一种简单而有效的2D方法来处理3D数据，同时在训练期间高效嵌入3D知识。我们建议将体数据转换为2D超级图像并使用2D网络进行分割，以解决这些挑战。我们的方法通过将3D图像中的切片并排拼接生成超分辨率图像。我们期望深度神经网络能在空间上捕获并学习这些特性，尽管会丢失深度信息。本工作旨在处理体数据时提出一种新视角，并使用CNN和ViT网络以及自监督预训练来验证该假设。在仅使用2D对应物达到等于甚至优于3D网络结果的同时，模型复杂度降低了约三倍。由于体数据相对稀缺，我们预期我们的方法将吸引更多研究，尤其在医学影像分析领域。