基于超图学习的多模态癌症生存分析：跨模态再平衡
计算机视觉与模式识别
2025-05-21 v2
摘要
多模态病理-基因组分析在癌症生存预测中日益突出。然是，现有研究主要利用多实例学习来聚合病理图像的 patch 级别特征，忽略了病理图像中上下文和层次细节的信息损失。此外，病理和基因组数据之间的粒度和维度差异导致显著的模态不平衡。病理数据的高空间分辨率使其在多模态集成中占据主导地位，而掩盖了基因组数据的作用。本文提出一种多模态生存预测框架，采用超图学习有效捕获病理图像中的上下文和层次细节。此外，它采用模态再平衡机制和交互式对齐融合策略，动态重新权衡两种模态的贡献，从而缓解了病理-基因组不平衡。在五个 TCGA 数据集上进行了定量和定性实验，表明该模型在 C-Index 性能上超过先进方法超过 3.4%。
引用
@article{arxiv.2505.11997,
title = {Multimodal Cancer Survival Analysis via Hypergraph Learning with Cross-Modality Rebalance},
author = {Mingcheng Qu and Guang Yang and Donglin Di and Tonghua Su and Yue Gao and Yang Song and Lei Fan},
journal= {arXiv preprint arXiv:2505.11997},
year = {2025}
}
备注
accepted by IJCAI2025 Code: https://github.com/MCPathology/MRePath