三模态深度学习用于胶质瘤生存预测：整合组织病理学、基因表达和 MRI 的可行性研究
计算机视觉与模式识别
2026-04-01 v1 人工智能
摘要
多模态深度学习通过整合组织病理学和基因组数据改善了脑肿瘤的预后准确性，但体积 MRI 在统一生存框架中的贡献仍未被探索。本初步研究通过加入 BraTS2021 的液体衰减反转恢复（FLAIR）MRI 作为第三种模态，扩展了双模态框架。使用 TCGA-GBMLGG 队列（664 名患者），我们评估了三种单模态模型、九种双模态配置和三种三模态配置，涵盖早期、晚期和联合融合策略。在小队列设置下，三模态早期融合取得了探索性综合得分（CS = 0.854），在相同患者上相比双模态基线的 ΔCS 为 +0.011，但该差异不具有统计显著性（p = 0.250，置换检验）。MRI 实现了合理的单模态判别能力（CS = 0.755），但并未实质性改善双模态组合，同时在三模态组合中提供了可测量的提升。所有包含 MRI 的实验仅限于 19 名测试患者，产生了宽的 bootstrap 置信区间（例如 [0.400, 1.000]），排除了确定性结论。这些发现提供了初步证据表明第三种成像模态即使在有限样本量下也可能增加预后价值，且额外模态需要充分的多模态上下文才能有效贡献。
引用
@article{arxiv.2603.29968,
title = {Trimodal Deep Learning for Glioma Survival Prediction: A Feasibility Study Integrating Histopathology, Gene Expression, and MRI},
author = {Iain Swift and JingHua Ye},
journal= {arXiv preprint arXiv:2603.29968},
year = {2026}
}
备注
6 pages, 1 figure, submitted to the IEEE CBMS 2026 conference, still waiting for notification