表格引导视觉：通过表格数据学习识别心脏
计算机视觉与模式识别
2026-05-11 v3
摘要
计算机视觉中的对比学习方法通常依赖同一图像的增强视图或多模态预训练策略，以对齐不同模态。然而，这些方法往往忽视不同实例之间的语义关系，导致在语义相似的样本被视为负样本时产生误判。这一限制在医学成像领域尤为关键，例如心脏学中，人口统计和临床属性在评估疾病风险和患者结局方面发挥关键作用。我们引入一种表格引导的对比学习框架，利用临床相关表格数据识别患者水平的相似性并构建更有意义的配对，从而实现无需跨模态联合嵌入即可进行语义对齐的表征学习。此外，我们针对单模态表征缺乏零样本能力的问题，改进了 k-NN 算法用于零样本预测。我们使用包含短轴心脏 MRI 图像和临床属性的大型队列演示了我们方法的强大性能，其中表格数据有助于更有效地区分患者亚群。在下游任务（包括微调、线性探测和心血管动脉疾病和心脏表型的零样本预测）上的评估显示，纳入表格数据指导可获得更强的视觉表征，而传统方法仅依赖图像增强或组合图像-表格嵌入则不行。进一步，我们在汽车广告数据集上评估了该方法的自然图像泛化能力。代码可在 https://github.com/marteczkah/tables_guide_vision 获取。
引用
@article{arxiv.2503.14998,
title = {Tables Guide Vision: Learning to See the Heart through Tabular Data},
author = {Marta Hasny and Maxime Di Folco and Keno Bressem and Julia Schnabel},
journal= {arXiv preprint arXiv:2503.14998},
year = {2026}
}