VoCo:一种简单而有效的三维医学图像分析体积对比学习框架
图像与视频处理
2024-04-19 v2
摘要
自监督学习(SSL)在三维医学图像分析中已展现出有前景的结果。然而,预训练中高层语义的缺乏仍然严重阻碍了下游任务的性能。我们观察到三维医学图像包含相对一致的上下文位置信息,即不同器官之间一致的几何关系,这为我们提供了一种在预训练中学习一致语义表示的潜在途径。本文提出了一种简单而有效的体积对比(VoCo)框架,以利用上下文位置先验进行预训练。具体来说,我们首先从不同区域生成一组基础裁剪块,同时强制它们之间的特征差异,并将它们用作不同区域的类别分配。然后,我们随机裁剪子体积,并通过对比它们与不同基础裁剪块的相似性来预测它们属于哪个类别(位于哪个区域),这可以看作预测不同子体积的上下文位置。通过这一前置任务,VoCo在无标注指导的情况下将上下文位置先验隐式编码到模型表示中,从而有效提升需要高层语义的下游任务性能。在六个下游任务上的大量实验结果证明了VoCo的优越有效性。代码将在https://github.com/Luffy03/VoCo提供。
引用
@article{arxiv.2402.17300,
title = {VoCo: A Simple-yet-Effective Volume Contrastive Learning Framework for 3D Medical Image Analysis},
author = {Linshan Wu and Jiaxin Zhuang and Hao Chen},
journal= {arXiv preprint arXiv:2402.17300},
year = {2024}
}
备注
Accepted by CVPR 2024. The camera-ready version will soon be available