AdaMHF：用于生存预测的自适应多模态层次融合

将 pathologic images 和 genomic data 集成用于生存分析正因多模态学习的进步而受到日益关注。然而，当前方法常忽视生物特征，如异质性和稀疏性，这些特征在同一模态和跨模态之间都存在，从而限制了其适应临床实践的能力。为解决这些挑战，我们提出了 AdaMHF：Adaptive Multimodal Hierarchical Fusion，一个专为高效、全面和量身定制的特征提取和融合而设计的框架。AdaMHF 专为医学数据的独特性而设计，使即使在面对缺失模态的艰巨情境下也能实现精确预测，同时最小化资源消耗。首先，AdaMHF 采用 experts expansion 和残差结构来激活 specialized experts，以提取异构和稀疏特征。提取的 token 通过 selection 和 aggregation 进行细化，减少非支配特征的权重，同时保留全面信息。随后，编码的特征进行层次化融合，捕获跨模态的多粒度相互作用。此外，我们引入了一个生存预测基准，解决缺失模态的情境，模拟真实世界临床条件下的情形。在 TCGA 数据集上进行大量实验表明，AdaMHF 超越当前 state-of-the-art（SOTA）方法，在 complete 和 incomplete modality 设置下都表现出卓越的性能。