通过位置编码切片模型将自然图像上训练的模型迁移至 3D MRI
图像与视频处理
2023-03-03 v1 机器学习
定量方法
摘要
迁移学习显著改进了计算机视觉。这些进展也有望改进神经影像，其中训练集规模通常较小。然而，直接将自然图像上预训练的模型应用于放射学图像（如 MRI）会出现各种困难。特别是，输入空间的不匹配（2D 图像 vs. 3D MRI）限制了模型的直接迁移，常常迫使我们仅考虑将少数 MRI 切片作为输入。为此，我们利用 Gupta 等人 (2021) 的 2D-Slice-CNN 架构，该架构用 2D 编码器（接受 2D 图像输入的神经网络）嵌入所有 MRI 切片，并通过置换不变层进行组合。鉴于预训练模型可作为 2D 编码器，我们用 ImageNet 预训练权重初始化 2D 编码器，其在两个神经影像任务上优于从头初始化并训练的权重——UK Biobank 数据集上的脑龄预测和 ADNI 数据集上的阿尔茨海默病检测。此外，我们通过位置嵌入纳入空间信息来改进 2D-Slice 模型的建模能力，这在某些情况下能提升性能。
引用
@article{arxiv.2303.01491,
title = {Transferring Models Trained on Natural Images to 3D MRI via Position Encoded Slice Models},
author = {Umang Gupta and Tamoghna Chattopadhyay and Nikhil Dhinagar and Paul M. Thompson and Greg Ver Steeg and The Alzheimer's Disease Neuroimaging Initiative},
journal= {arXiv preprint arXiv:2303.01491},
year = {2023}
}
备注
To appear at IEEE International Symposium on Biomedical Imaging 2023 (ISBI 2023). Code is available at https://github.com/umgupta/2d-slice-set-networks