中文

ModAn-MulSupCon:基于模态与解剖信息的医学影像多标签监督对比预训练方法

图像与视频处理 2025-08-27 v1 机器学习

摘要

背景与目标:专家标注限制了医学影像中大规模监督预训练,而普遍可用的元数据(模态、解剖区域)仍被低利用。我们提出 ModAn-MulSupCon,一种模态与解剖感知的多标签监督对比预训练方法,通过利用这些元数据学习可迁移的表征。方法:将每幅图像的模态和解剖区域编码为多热向量。使用基于 Jaccard 加权的多标签监督对比损失,在 Resnet-18 编码器上对 RadImageNet 的小子集(miniRIN,16,222 图像)进行预训练,然后通过微调和线性探针在三个二分类任务上进行评估——ACL损伤(膝部 MRI)、肿瘤恶性病变(乳腺超声)和结节恶性病变(甲状腺超声)。结果:在微调后,ModAn-MulSupCon 在 MRNet-ACL(0.964)和甲状腺(0.763)上取得最佳 AUC,超过所有基线(p<0.05p<0.05),在乳腺(0.926)上排名第二,仅次于 SimCLR(0.940;无显著差异)。在编码器冻结时,SimCLR/ImageNet 更优,表明 ModAn-MulSupCon 的表征在任务适应而非线性可分性方面更有优势。结论:将可获得的模态/解剖元数据编码为多标签目标,提供一种实用且可扩展的预训练信号,当进行任务适应时可提高下游准确性。ModAn-MulSupCon 是标签稀缺临床环境中强大的初始化,而 SimCLR/ImageNet 适用于冻结编码器部署。

关键词

引用

@article{arxiv.2508.18613,
  title  = {ModAn-MulSupCon: Modality-and Anatomy-Aware Multi-Label Supervised Contrastive Pretraining for Medical Imaging},
  author = {Eichi Takaya and Ryusei Inamori},
  journal= {arXiv preprint arXiv:2508.18613},
  year   = {2025}
}