面向有限标注医学图像分割的关键点增强自监督学习
计算机视觉与模式识别
2023-10-20 v2 人工智能
摘要
通过自监督预训练CNN模型（即UNet）已成为在低标注条件下促进医学图像分割的有力方法。最近的对比学习方法鼓励同一图像经历不同变换时具有相似的全局表示，或强制在内在相关的不同图像/块特征间保持不变性。然而，CNN提取的全局和局部特征在捕获生物解剖中至关重要的长程空间依赖方面存在局限。为此，我们提出了一种关键点增强融合层，提取同时保留短程和长程自注意力的表示。特别地，我们在多个尺度上增强CNN特征图，通过引入一个额外输入来学习局部化关键点特征间的长程空间自注意力。此外，我们为框架引入了全局和局部自监督预训练。在全局尺度上，我们从UNet的瓶颈处以及通过聚合多尺度关键点特征获得全局表示。这些全局特征随后通过图像级对比目标进行正则化。在局部尺度上，我们定义基于距离的准则以首先建立关键点间的对应，并鼓励其特征间的相似性。通过在MRI和CT分割任务上的大量实验，我们展示了所提方法相较于基于CNN和Transformer的UNet的架构优势（所有架构均以随机初始化权重训练）。借助我们提出的预训练策略，我们的方法通过产生更鲁棒的自注意力和实现最先进的分割结果，进一步优于现有SSL方法。代码见 https://github.com/zshyang/kaf.git。
引用
@article{arxiv.2310.01680,
title = {Keypoint-Augmented Self-Supervised Learning for Medical Image Segmentation with Limited Annotation},
author = {Zhangsihao Yang and Mengwei Ren and Kaize Ding and Guido Gerig and Yalin Wang},
journal= {arXiv preprint arXiv:2310.01680},
year = {2023}
}
备注
Camera ready for NeurIPS 2023. Code available at https://github.com/zshyang/kaf.git