解耦、重组、融合：癌症生存预测的多模态框架
计算机视觉与模式识别
2026-02-25 v2
摘要
癌症生存分析通常整合多种医疗模态信息以进行生存时间预测。现有方法主要关注提取不同模态的解耦特征并执行融合操作，如拼接、注意力和 Mixture-of-Experts (MoE) 基于融合。然而，这些方法仍面临两个关键挑战：i) 固定融合方案（拼接和注意力）可能导致模型对预定义特征组合过度依赖，限制了解耦特征的动态融合；ii) 在 MoE 基于融合方法中，每个 expert 网络处理单独的解耦特征，这限制了解耦特征之间的信息交互。为解决这些挑战，我们提出一种 novel Decoupling-Reorganization-Fusion 框架 (DeReF)，该框架在模态解耦和动态 MoE 融合模块之间制定随机特征重组策略。其优势在于：i) 增加特征组合的多样性和细粒度，增强后续 expert 网络的泛化能力；ii) 克服信息封闭问题，帮助 expert 网络更好地捕获解耦特征之间的信息。此外，我们在模态解耦模块中包含区域跨注意力网络以提高解耦特征的表示质量。广泛的实验结果在我们自建的肝癌 (LC) 和三个广泛使用的 TCGA 公开数据集上确认了所提出方法的有效性。代码可在 https://github.com/ZJUMAI/DeReF 查看。
引用
@article{arxiv.2508.18632,
title = {Decouple, Reorganize, and Fuse: A Multimodal Framework for Cancer Survival Prediction},
author = {Huayi Wang and Haochao Ying and Yuyang Xu and Qibo Qiu and Cheng Zhang and Danny Z. Chen and Ying Sun and Jian Wu},
journal= {arXiv preprint arXiv:2508.18632},
year = {2026}
}
备注
13 pages