MurreNet：用于生存预测的组织病理与基因组概要文件间整体多模态交互建模
图像与视频处理
2025-07-08 v1 计算机视觉与模式识别
摘要
癌症生存预测需要整合病理全切片图像（WSI）和基因组概要文件，这是一项由于固有的异质性以及复杂建模两类以及同一模态内部交互而具有挑战的任务。当前方法常采用简单地融合策略进行多模态特征集成，无法全面捕获模态特定和模态共通的交互，导致对多模态相关性的理解有限且预测性能次优。为缓解这些限制，本文提出了一种多模态表示解耦网络（MurreNet），以 advance 癌症生存分析。具体而言，我们首先提出一种多模态表示分解（MRD）模块，显式地将配对输入数据分解为模态特定和模态共享表示，从而减少不同模态之间的冗余。此外，解耦后的表示进一步经过精细化，然后通过一种新提出的训练正则化策略实现更新，该策略对模态特征的分布相似性、差异性和代表性施加约束。最后，通过提出的深度整体正交融合（DHOF）策略将增强后的多模态特征整合为联合表示。广泛的实验在六个 TCGA 癌症队列上进行，证明 MurreNet 在生存预测中实现了最先进（SOTA）性能。
引用
@article{arxiv.2507.04891,
title = {MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction},
author = {Mingxin Liu and Chengfei Cai and Jun Li and Pengbo Xu and Jinze Li and Jiquan Ma and Jun Xu},
journal= {arXiv preprint arXiv:2507.04891},
year = {2025}
}
备注
11 pages, 2 figures, Accepted by MICCAI 2025