通过打破跨表格壁垒释放图像-表格自监督学习的力量
计算机视觉与模式识别
2025-12-17 v1
摘要
多模态学习将医学图像和表格数据相结合，近年来显著推动了临床决策。自监督学习 (SSL) 已成为在大规模无标签图像-表格数据上对这些模型进行预训练，以学习判别性表征的强大范式。然而，现有的图像-表格表征学习的 SSL 方法往往局限于特定数据队列，主要due于其在建模异构表格数据时的刚性表格建模机制。这种跨表格壁垒阻碍了跨队列间有效学习可迁移医学知识。本文提出了一种新型 SSL 框架，称为 CITab，旨在以跨表格方式学习强大的多模态特征表征。我们从语义感知角度设计表格建模机制，通过整合列标题作为语义线索，促进可迁移知识学习和利用多个数据源进行预训练的可扩展性。此外，我们提出了一种原型引导的混合线性层 (P-MoLin) 模块，用于表格特征专业化，使模型能够有效处理表格数据的异构性并探索潜在的医学概念。我们在包含 4,461 名受试者的三个公开数据队列上进行了阿尔茨海默病诊断任务的全面评估。实验结果表明，CITab 在性能上优于最先进的方法，为有效且可扩展的跨表格多模态学习铺平了道路。
引用
@article{arxiv.2512.14026,
title = {Unleashing the Power of Image-Tabular Self-Supervised Learning via Breaking Cross-Tabular Barriers},
author = {Yibing Fu and Yunpeng Zhao and Zhitao Zeng and Cheng Chen and Yueming Jin},
journal= {arXiv preprint arXiv:2512.14026},
year = {2025}
}