通过 Dirac 均衡器和分布纠缠实现跨癌症单域泛化的多模态预后
计算机视觉与模式识别
2025-09-01 v2 人工智能
摘要
深度学习在整合多模态数据进行生存预测方面显示出卓越的性能。然而，现有的多模态方法主要关注单一种类癌症，忽视了跨癌症泛化的挑战。本文首次揭示，多模态预后模型在跨癌症情境下的泛化性能往往不如单模态模型，尽管在临床实践中对这种鲁棒性需求极大。为此，我们提出了新的任务：用于跨癌症单域泛化的多模态预后，该任务评估在单一种类癌症上训练的模型是否能泛化到未出现的癌症类型。我们识别出两个关键挑战：来自较弱模态的特征退化和模态集成的无效性。为此，我们引入两个即插即用模块：稀疏 Dirac 信息均衡器 (SDIR) 和癌症感知分布纠缠 (CADE)。SDIR 通过应用伯努利稀疏化和 Dirac 风格的稳定化来缓解强特征的主导地位，从而增强较弱模态的信号。CADE 旨在合成目标域分布，将局部形态线索和全局基因表达在潜在空间中融合。实验在四种癌症类型基准数据集上表明，方法在泛化性能方面显著优于现有方法，为实际可靠的跨癌症多模态预后奠定了基础。代码已公开于 https://github.com/HopkinsKwong/MCCSDG。
引用
@article{arxiv.2507.08340,
title = {Single Domain Generalization for Multimodal Cross-Cancer Prognosis via Dirac Rebalancer and Distribution Entanglement},
author = {Jia-Xuan Jiang and Jiashuai Liu and Hongtao Wu and Yifeng Wu and Zhong Wang and Qi Bi and Yefeng Zheng},
journal= {arXiv preprint arXiv:2507.08340},
year = {2025}
}
备注
Accepted by ACMMM 25