基于跨切片和基因注意型超图学习的记忆增强不完全多模态生存预测
计算机视觉与模式识别
2025-06-25 v1
摘要
多模态病理-基因组分析是癌症生存预测的关键任务。然而，现有方法主要整合固定石蜡包埋 (FFPE) 切片与基因组数据，忽略了其他保存切片（如新鲜冷冻 FF 切片）的可用性。此外，随着病理数据的高分辨率空间特性倾向于占据跨模态融合过程，导致病理与基因组之间的模态不平衡问题。这些方法通常需要完整的模态数据，限制了在缺失病理或基因组数据的情况下的临床应用。本文提出一种多模态生存预测框架，利用超图学习有效整合多 WS1 信息和病理切片与基因组数据之间的跨模态相互作用，同时解决模态不平衡问题。此外，我们引入记忆机制存储先前学习的配对病理-基因组特征，动态补偿不完整模态。实验在五个 TCGA 数据集上表明，我们的方法在 C-Index 指标上超过先进方法超过 2.3%。在不完整模态场景下，我们的方法优于仅病理模型 (3.3%) 和仅基因模型 (7.9%)。代码: https://github.com/MCPathology/M2Surv
引用
@article{arxiv.2506.19324,
title = {Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning},
author = {Mingcheng Qu and Guang Yang and Donglin Di and Yue Gao and Tonghua Su and Yang Song and Lei Fan},
journal= {arXiv preprint arXiv:2506.19324},
year = {2025}
}
备注
accepted by MICCAI2025 code: https://github.com/MCPathology/M2Surv