MEDFORM：面向多癌症分析的CT影像与临床数值的对比学习基础模型
计算机视觉与模式识别
2025-01-24 v1
摘要
CT和临床数值数据是癌症评估中不可或缺的两种模态，但由于多切片CT数据的结构复杂以及专家标注成本高，构建大规模多模态训练数据集以发展医学基础模型仍存在挑战。本研究提出MEDFORM，一种利用临床数据引导CT图像表示学习的多模态预训练策略，用于医学基础模型开发。MEDFORM通过多实例学习（MIL）高效处理CT切片，并采用双阶段预训练：首先使用基于SimCLR的自监督学习对CT切片特征提取器进行预训练，然后通过跨模态对比学习对齐CT与临床模态。本模型在三种不同癌症类型上进行预训练：肺癌（141,171个切片）、乳腺癌（8,100个切片）和结直肠癌（10,393个切片）。实验结果表明，此双阶段预训练策略在提高癌症分类性能方面具有积极作用，并在少样本学习场景中保持稳健的表现。代码已公开于https://github.com/DigitalHealthcareLab/25MultiModalFoundationModel.git
引用
@article{arxiv.2501.13277,
title = {MEDFORM: A Foundation Model for Contrastive Learning of CT Imaging and Clinical Numeric Data in Multi-Cancer Analysis},
author = {Daeun Jung and Jaehyeok Jang and Sooyoung Jang and Yu Rang Park},
journal= {arXiv preprint arXiv:2501.13277},
year = {2025}
}
备注
8 pages, 1 figure