两全其美：基于表格与影像数据的多模态对比学习
计算机视觉与模式识别
2023-03-31 v3
摘要
医学数据集尤其是生物样本库，除影像外通常还包含具有丰富临床信息的广泛表格数据。在实践中，临床医生拥有的数据通常在多样性和规模上都较少，但仍希望部署深度学习方案。结合不断增长的医学数据集规模与高昂的标注成本，对能够多模态预训练且单模态预测的无监督方法的需求已然上升。为满足这些需求，我们提出了首个利用影像与表格数据训练单模态编码器的自监督对比学习框架。我们的方案结合了 SimCLR 与 SCARF 这两种领先的对比学习策略，简单且有效。在实验中，我们利用来自 40,000 名 UK Biobank 受试者的心脏 MR 影像和 120 项临床特征，通过预测心肌梗死与冠状动脉疾病（CAD）风险展示了框架的优势。此外，我们使用 DVM 汽车广告数据集展示了该方法在自然图像上的泛化能力。我们利用表格数据的高可解释性，通过归因与消融实验发现，描述尺寸与形态的 morphometric 表格特征在对比学习过程中具有超常重要性，并提升了所学嵌入的质量。最后，我们通过在多模态预训练时将真实标签作为表格特征附加，引入了一种新颖的监督对比学习形式——标签即特征（LaaF），优于所有监督对比基线。
引用
@article{arxiv.2303.14080,
title = {Best of Both Worlds: Multimodal Contrastive Learning with Tabular and Imaging Data},
author = {Paul Hager and Martin J. Menten and Daniel Rueckert},
journal= {arXiv preprint arXiv:2303.14080},
year = {2023}
}
备注
Accepted in CVPR 2023