重审 CLIP：使用领域特定基础模型高效对齐 3D MRI 和表格数据
计算机视觉与模式识别
2025-01-27 v1 人工智能
机器学习
摘要
多模态模型需要对齐的、共享的嵌入空间。然而，常见的 CLIP 方法需要大量样本，且不原生支持 3D 或表格数据，这两者在医学领域都至关重要。为此，我们通过训练领域特定的 3D 基础模型作为图像编码器，演示了仅需 62 例 MRI 扫描即可实现模态对齐。我们的方法通过一种简单的嵌入积累策略实现，该策略是训练 3D 所必需的，通过在批次之间扩展负样本对的数量来稳定训练。我们对各种设计选择进行了彻底的评估，包括 backbone 和损失函数的选择，并在零样本分类和图像检索任务上评估了所提出的方法。尽管零样本图像检索仍具有挑战性，但零样本分类结果表明，所提出的方法能够有效地将 3D MRI 与表格数据进行对齐。
引用
@article{arxiv.2501.14051,
title = {Revisiting CLIP: Efficient Alignment of 3D MRI and Tabular Data using Domain-Specific Foundation Models},
author = {Jakob Krogh Petersen and Valdemar Licht and Mads Nielsen and Asbjørn Munk},
journal= {arXiv preprint arXiv:2501.14051},
year = {2025}
}
备注
10 pages, 2 figures. To be published in ISBI 2025