2.75D：以 3D 医学影像转为 2D 特征表示助力小数据学习
图像与视频处理
2024-01-24 v3 计算机视觉与模式识别
摘要
在数据驱动的医学学习中，3D 卷积神经网络（CNN）已在众多深度学习任务中开始展现出优于 2D CNN 的性能，证明了 3D 空间信息在特征表示中的附加价值。然而，难以收集更多训练样本以收敛、需要更多计算资源与更长执行时间，使得该方法应用较少。此外，由于缺乏公开可用的预训练 3D 模型，在 3D CNN 上应用迁移学习颇具挑战。为解决这些问题，我们提出了一种新颖的体数据 2D 策略性表示，即 2.75D。本工作中，3D 图像的空间信息通过螺旋旋转技术捕获于单一 2D 视图中。因此，2D CNN 也可用于学习体数据信息。此外，我们可充分利用预训练的 2D CNN 处理下游视觉问题。我们还探索了一种多视图 2.75D 策略，即 2.75D 三通道（2.75Dx3），以增强 2.75D 的优势。我们在三个具有不同模态或器官（肺 CT、乳腺 MRI 与前列腺 MRI）的公开数据集上评估了所提方法，在分类任务中对比其 2D、2.5D 与 3D 对应方法。结果表明，当所有方法均从零开始在肺数据集上训练时，所提方法显著优于其他对应方法。这种性能提升在迁移学习或训练数据有限的情况下更为明显。我们的方法在其他数据集上也取得了可比性能。此外，与 2.5D 或 3D 方法相比，我们的方法在训练与推理的时间消耗上大幅降低。
引用
@article{arxiv.2002.04251,
title = {2.75D: Boosting learning by representing 3D Medical imaging to 2D features for small data},
author = {Xin Wang and Ruisheng Su and Weiyi Xie and Wenjin Wang and Yi Xu and Ritse Mann and Jungong Han and Tao Tan},
journal= {arXiv preprint arXiv:2002.04251},
year = {2024}
}