基于医学影像解剖结构自监督学习的医学基础模型探索
计算机视觉与模式识别
2023-09-28 v1
摘要
人体解剖结构是医学影像的基础，并具备一个显著特征：其本质上的层次性，表现出两种内在属性：（1）局部性：每个解剖结构在形态上区别于其他结构；（2）组合性：每个解剖结构都是更大整体的一个集成部分。我们设想一个医学影像基础模型，有意识地、有目的地构建于这一基础之上，以获得“理解”人体解剖结构的能力，并具备医学影像的基本属性。作为实现该医学影像基础模型愿景的第一步，我们设计了一种新颖的自监督学习（SSL）策略，利用人体解剖的层次性。我们的大量实验表明，由该训练策略得到的 SSL 预训练模型不仅优于最先进（SOTA）的全监督/自监督基线，还提升了标注效率，相较于 SSL 基线，分割任务性能提升达 9% 至 30%，具备潜在的少样本分割能力。这一性能归因于通过我们的学习策略对解剖的理解，该策略将解剖结构的内在属性——局部性与组合性——封装于嵌入空间中，而现有 SSL 方法忽视了这些属性。所有代码与预训练模型见 https://github.com/JLiangLab/Eden。
引用
@article{arxiv.2309.15358,
title = {Towards Foundation Models Learned from Anatomy in Medical Imaging via Self-Supervision},
author = {Mohammad Reza Hosseinzadeh Taher and Michael B. Gotway and Jianming Liang},
journal= {arXiv preprint arXiv:2309.15358},
year = {2023}
}
备注
International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2023)---Domain Adaptation and Representation Transfer