impuTMAE：用于癌症生存预测中缺失模态填补的掩码预训练多模态Transformer
图像与视频处理
2025-08-14 v1 人工智能
计算机视觉与模式识别
摘要
使用组学、医学图像和临床数据等多模态数据，不仅可以提高预后模型的性能，还可以加深对疾病机制的理解并促进新治疗方法的发展。然而，医疗数据复杂、通常不完整且包含缺失模态，因此有效处理缺失数据对于训练多模态模型至关重要。我们引入了impuTMAE，一种基于Transformer的新型端到端方法，具有高效的多模态预训练策略。它通过重建掩码块来学习模态间和模态内的交互，同时填补缺失的模态。我们的模型在异构、不完整的数据上进行预训练，并使用TCGA-GBM/LGG和BraTS数据集针对胶质瘤生存预测进行微调，整合了五种模态：基因（DNAm、RNA-seq）、影像（MRI、WSI）和临床数据。通过在预训练阶段处理缺失数据并实现高效的资源利用，impuTMAE超越了以往的多模态方法，在胶质瘤患者生存预测中取得了SOTA性能。代码可在 https://github.com/maryjis/mtcp 获取。
引用
@article{arxiv.2508.09195,
title = {impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction},
author = {Maria Boyko and Aleksandra Beliaeva and Dmitriy Kornilov and Alexander Bernstein and Maxim Sharaev},
journal= {arXiv preprint arXiv:2508.09195},
year = {2025}
}