Models Genesis
摘要
从自然图像到医学图像的迁移学习已被确立为医学图像分析深度学习中最为实用的范式之一。然而，为了适应这一范式，最突出的成像模态（如 CT 和 MRI）中的 3D 成像任务必须被重新表述并以 2D 方式求解，从而丢失丰富的 3D 解剖信息，不可避免地损害其性能。为克服这一局限，我们构建了一组称为 Generic Autodidactic Models、昵称 Models Genesis 的模型，因为它们是从无到有创建的（无需人工标注）、自学的（通过自监督学习）且通用的（作为生成特定应用目标模型的源模型）。我们的大量实验表明，我们的 Models Genesis 在涵盖分割与分类的五项目标 3D 应用中均显著优于从零学习以及现有的预训练 3D 模型。更重要的是，简单地以 3D 从零训练一个模型未必能获得优于从 ImageNet 进行 2D 迁移学习的性能，而我们的 Models Genesis 始终超越任何 2D/2.5D 方法，包括微调从 ImageNet 预训练的模型以及微调我们 Models Genesis 的 2D 版本，从而确认了 3D 解剖信息的重要性以及 Models Genesis 对于 3D 医学影像的意义。这一性能归功于我们统一的自监督学习框架，其建立在简单而有力的观察之上：医学图像中复杂且反复出现的解剖结构可作为强而免费的监督信号，使深度模型通过自监督自动学习通用的解剖表征。作为开放科学，所有代码与预训练的 Models Genesis 均可在 https://github.com/MrGiovanni/ModelsGenesis 获取。
引用
@article{arxiv.2004.07882,
title = {Models Genesis},
author = {Zongwei Zhou and Vatsal Sodha and Jiaxuan Pang and Michael B. Gotway and Jianming Liang},
journal= {arXiv preprint arXiv:2004.07882},
year = {2020}
}
备注
Journal version of arXiv:1908.06912, accepted by Medical Image Analysis