基于几何上下文先验的大规模 3D 医学图像预训练
计算机视觉与模式识别
2024-10-15 v1 人工智能
摘要
标注稀缺性是医学图像分析中的重要挑战。大规模预训练因利用大规模数据、大模型和先进的预训练技术而成为一种具有标签效率的解决方案。然而，其在医学图像上的开发仍未得到充分探索。主要挑战在于从无标注数据中提取大规模数据并学习高阶语义。我们观察到 3D 医学图像具有一致的几何上下文，即不同器官之间的一致几何关系，这为学习一致表示提供了可行途径。基于此，我们引入一个简单而有效的 Volume Contrast (VoCo) 框架，用于自监督学习以利用几何上下文先验。给定输入体数据，我们从不同区域提取基准裁剪，以构建正负配对进行对比学习。然后我们通过对比其与基准裁剪的相似性来预测随机裁剪的上下文位置。如此，VoCo 将固有的几何上下文编码到模型表示中，促进无标注下的高阶语义学习。具体而言，我们(1)引入最大医学预训练数据集 PreCT-160K；(2)探讨规模规律并提出针对不同医学任务调整不同模型大小的指南；(3)构建包含 48 个医学任务的基准。大量实验表明 VoCo 的优越性。代码地址：https://github.com/Luffy03/Large-Scale-Medical。
引用
@article{arxiv.2410.09890,
title = {Large-Scale 3D Medical Image Pre-training with Geometric Context Priors},
author = {Linshan Wu and Jiaxin Zhuang and Hao Chen},
journal= {arXiv preprint arXiv:2410.09890},
year = {2024}
}
备注
CVPR 2024 Extension