用于胸部CT分割预训练的组织对比半掩码自编码器
图像与视频处理
2024-07-15 v1 计算机视觉与模式识别
摘要
现有的掩码图像建模(MIM)依赖于基于空间补丁的掩码-重建策略来从无标签图像中感知物体的特征，这在应用于胸部CT时可能面临两个限制：1) 由于CT图像中呈现的复杂解剖细节导致特征学习效率低下，以及2) 由于上游和下游模型之间的输入差异导致次优的知识迁移。为解决这些问题，我们提出了一种新的MIM方法，名为组织对比半掩码自编码器(TCS-MAE)，用于对胸部CT图像进行建模。我们的方法有两个新颖的设计：1) 一种基于组织的掩码-重建策略，以捕获更精细的解剖特征，以及2) 一种双自编码器架构，在掩码视图和原始图像视图之间进行对比学习，以弥合上游和下游模型之间的差距。为验证我们的方法，我们系统地研究了代表性的对比式、生成式和混合式自监督学习方法，涉及分割肺炎、纵隔肿瘤和各种器官的任务。结果表明，与现有方法相比，我们的TCS-MAE更有效地学习了组织感知表示，从而显著提升了所有任务的分割性能。
引用
@article{arxiv.2407.08961,
title = {Tissue-Contrastive Semi-Masked Autoencoders for Segmentation Pretraining on Chest CT},
author = {Jie Zheng and Ru Wen and Haiqin Hu and Lina Wei and Kui Su and Wei Chen and Chen Liu and Jun Wang},
journal= {arXiv preprint arXiv:2407.08961},
year = {2024}
}