SAM：放射学图像中像素级解剖嵌入的自监督学习
计算机视觉与模式识别
2023-10-24 v3
摘要
计算机断层扫描（CT）和 X 射线等放射学图像以固有结构呈现解剖结构。能够在不同图像中可靠地定位同一解剖结构，是医学图像分析中的一项基本任务。原则上可以使用 landmark 检测或语义分割来完成此任务，但要良好工作，这些需要对每个感兴趣的解剖结构及子结构有大量标注数据。一种更通用的方法将从无标注图像中学习固有结构。我们引入了这样一种方法，称为自监督解剖嵌入（SAM）。SAM 为图像中的每个像素生成描述其解剖位置或身体部位的语义嵌入。为产生此类嵌入，我们提出了一种像素级对比学习框架。由粗到细的策略确保了全局与局部解剖信息均被编码。设计了负样本选择策略以增强嵌入的判别性。使用 SAM，可以在模板图像上标注任意感兴趣点，然后通过简单的近邻搜索在其他图像中定位同一身体部位。我们在多个具有 2D 和 3D 图像模态的任务中展示了 SAM 的有效性。在一个含 19 个 landmark 的胸部 CT 数据集上，SAM 优于广泛使用的配准算法，而推理仅需 0.23 秒。在两个 X 射线数据集上，SAM 仅用一张标注模板图像便超越了在 50 张标注图像上训练的有监督方法。我们还将 SAM 应用于 CT 中全身随访病灶匹配，获得了 91% 的准确率。SAM 也可用于改进图像配准和初始化 CNN 权重。
引用
@article{arxiv.2012.02383,
title = {SAM: Self-supervised Learning of Pixel-wise Anatomical Embeddings in Radiological Images},
author = {Ke Yan and Jinzheng Cai and Dakai Jin and Shun Miao and Dazhou Guo and Adam P. Harrison and Youbao Tang and Jing Xiao and Jingjing Lu and Le Lu},
journal= {arXiv preprint arXiv:2012.02383},
year = {2023}
}
备注
code: https://github.com/alibaba-damo-academy/self-supervised-anatomical-embedding-v2; IEEE Trans on Medical Imaging: https://ieeexplore.ieee.org/document/9760421