ICFNet：面向生存预测的集成跨模态融合网络
图像与视频处理
2025-01-07 v1 人工智能
计算机视觉与模式识别
摘要
生存预测是医学领域的关键任务，对于优化治疗方案和资源分配至关重要。然而，当前方法通常依赖有限的数据模态，导致性能欠佳。本文提出一种集成跨模态融合网络，该网络整合了组织病理学全切片图像、基因组表达谱、患者人口统计学信息和治疗方案。具体而言，采用三种编码器、一个残差正交分解模块和一个统一融合模块来融合多模态特征以提高预测准确性。此外，设计了平衡负对数似然损失函数以确保不同患者之间的公平训练。大量实验表明，我们的ICFNet在五个公共TCGA数据集（包括BLCA、BRCA、GBMLGG、LUAD和UCEC）上优于最先进的算法，并显示出支持临床决策和推进精准医学的潜力。代码可在https://github.com/binging512/ICFNet获取。
引用
@article{arxiv.2501.02778,
title = {ICFNet: Integrated Cross-modal Fusion Network for Survival Prediction},
author = {Binyu Zhang and Zhu Meng and Junhao Dong and Fei Su and Zhicheng Zhao},
journal= {arXiv preprint arXiv:2501.02778},
year = {2025}
}