用于 3D 医学图像分析自监督学习的解剖不变性建模与语义对齐
计算机视觉与模式识别
2023-08-21 v3 人工智能
摘要
自监督学习（SSL）近期在 3D 医学图像分析任务中取得了有前景的性能。当前多数方法沿用最初为照片或自然图像设计的现有 SSL 范式，无法显式且充分地利用不同医学图像间固有的相似解剖结构。这实际上可能通过最大化包含空间错位信息与不同解剖语义的特征间的相似性，而降低所学深度表征的质量。本工作中，我们提出一种新的自监督学习框架，即 Alice，其通过精心结合判别性与生成式目标，显式地实现解剖不变性建模与语义对齐。Alice 引入一种新的对比学习策略，鼓励从多样挖掘但具有一致高层语义的视图之间的相似性，以学习不变的解剖特征。此外，我们设计了一个条件解剖特征对齐模块，以局部图像内容的分布为条件，用全局匹配语义与块间拓扑信息补充被损坏的嵌入，从而得以创建更好的对比对。我们在三个 3D 医学图像分析任务上的大量定量实验证明并验证了 Alice 的性能优越性，其超越了先前最佳的 SSL 同类方法，并展现出用于联合表征学习的有前景能力。代码见 https://github.com/alibaba-damo-academy/alice。
引用
@article{arxiv.2302.05615,
title = {Anatomical Invariance Modeling and Semantic Alignment for Self-supervised Learning in 3D Medical Image Analysis},
author = {Yankai Jiang and Mingze Sun and Heng Guo and Xiaoyu Bai and Ke Yan and Le Lu and Minfeng Xu},
journal= {arXiv preprint arXiv:2302.05615},
year = {2023}
}
备注
This paper has been accepted by ICCV 2023 (oral)