Cross-D Conv：基于傅里叶平移操作的跨维度可迁移知识库

在生物医学图像分析中，2D和3D数据之间的二分法提出了重大挑战。虽然3D体素具有更优越的现实世界适用性，但每种模态的可用性较低且难以大规模训练，而2D样本丰富但不够全面。本文介绍了Cross-D Conv操作，这是一种通过学习傅里叶域中的相位平移来弥合维度差距的新方法。我们的方法实现了2D和3D卷积操作之间的无缝权重迁移，有效地促进了跨维度学习。所提出的架构利用丰富的2D训练数据来增强3D模型性能，为3D医学模型预训练中的多模态数据稀缺问题提供了实用解决方案。在RadImagenet（2D）和多模态体素集上的实验验证表明，我们的方法在特征质量评估方面达到了相当或更优的性能。增强的卷积操作为开发医学成像中高效的分类和分割模型提供了新的机会。这项工作代表了跨维度和多模态医学图像分析的进步，提供了一个稳健的框架，用于在3D模型预训练中利用2D先验知识，同时保持2D训练的计算效率。代码可在https://github.com/convergedmachine/Cross-D-Conv获取。