一种集成 bp-MRI 和临床报告的几何多模态基础模型用于前列腺癌分类
计算机视觉与模式识别
2026-02-03 v1 人工智能
摘要
前列腺癌（PCa）是全球男性最常见的癌症之一。双模态 MRI（bp-MRI）和临床变量对 PCa 识别及提高治疗决策至关重要。然而，该过程受专家解读主观性影响。此外，现有大多数计算机辅助诊断方法仅关注影像基模型，忽视临床背景且面临数据稀缺，限制了其学习鲁健表征的能力。我们提出一种几何多模态基础模型（Foundation Model, FM），命名为 MFM-Geom，通过学习来自 bp-MRI 和临床报告的表征，将视觉发现与临床变量上下文信息编码为统一表示。在表示分类头中，该方法利用正定矩阵（SPD）和黎布里安深度学习集成来自医学多模态 FM 的影像-文本表征。仅使用 10% 的训练数据，MFM-Geom 在基准分类（class token embedding-based classification）中超越 +8.3%（AUC-PR 为 90.67）。在外部数据集上的泛化实验确认了对医学基准 FM 微调的鲁健性，实现 AUC-PR 为 90.6。
引用
@article{arxiv.2602.00214,
title = {A Geometric Multimodal Foundation Model Integrating Bp-MRI and Clinical Reports in Prostate Cancer Classification},
author = {Juan A. Olmos and Antoine Manzanera and Fabio Martínez},
journal= {arXiv preprint arXiv:2602.00214},
year = {2026}
}
备注
Accepted at IEEE International Symposium on Biomedical Imaging (ISBI) 2026