处理非小细胞肺癌多模态生存预测中的缺失模态
计算机视觉与模式识别
2026-04-27 v2 人工智能
多媒体
摘要
准确预测非小细胞肺癌（NSCLC）的生存率需要整合临床、放射学和组织病理学数据。虽然多模态深度学习（MDL）可提高精准预后，但小规模队列和缺失模态限制了其临床实用性，因为传统方法强制执行完整案例过滤或插值。在本文中，我们提出了一种考虑缺失的多模态生存框架，结合运动 CT、全切片组织病理学图像（WSI）和结构化临床变量，用于不可切除 II-III 期 NSCLC 的总生存率建模。该框架使用基础模型（FMs）进行模态特定特征提取，并采用考虑缺失的编码策略，使在自然不完整模态配置下实现中间多模态融合。在设计上，该架构在训练和推断期间处理所有可用数据，而无需丢弃患者。中间融合优于单模态基线和两种早期及晚期融合策略，三模态配置达到 C-index 为 74.42。模态重要性分析显示，融合模型会根据表示信息性以及 FM 预训练目标与生存任务之间的对齐情况，调整对每个数据流的依赖程度。所学得的风险评分结果，对疾病进展和转移风险进行临床有意义的分层，并在所有模态组合下的 log-rank 检验均具有统计学显著性，支持所提出框架的翻译相关性。
引用
@article{arxiv.2601.10386,
title = {Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer},
author = {Filippo Ruffini and Camillo Maria Caruso and Claudia Tacconi and Lorenzo Nibid and Francesca Miccolis and Marta Lovino and Carlo Greco and Edy Ippolito and Michele Fiore and Alessio Cortellini and Bruno Beomonte Zobel and Giuseppe Perrone and Bruno Vincenzi and Claudio Marrocco and Alessandro Bria and Elisa Ficarra and Sara Ramella and Valerio Guarrasi and Paolo Soda},
journal= {arXiv preprint arXiv:2601.10386},
year = {2026}
}