面向全癌种的多模态深度学习前瞫模型
图像与视频处理
2025-01-14 v1 人工智能
计算机视觉与模式识别
摘要
前瞫任务因与患者生存分析、治疗方案优化和资源分配密切相关，具有重要意义。现有前瞫模型虽在特定数据集上表现突出，但在两个方面存在局限：其次要探索的是某些特定类型模态数据，如患者组织病理 WSI 和基因表达分析；另一方面，采用按癌种-模型的范式，这意味着训练好的模型只能预测单一种类的前瞫效果，导致泛化能力较弱。本文提出一种深度学习模型，命名为 UMPSNet。具体而言，为全面了解患者状况，除为组织病理图像和基因表达轮廓分别构建编码器外，UMPSNet 还将四类重要元数据（人口学信息、癌种信息、治疗方案和诊断结果）整合为文本模板，然后引入文本编码器提取文本特征。此外，利用基于最优传输 OT 的注意力机制对不同模态的特征进行对齐和融合。进一步引入引导软混合专家（GMoE）机制，以有效解决多个癌种数据集间分布差异的问题。通过融合患者的多模态数据进行联合训练，UMPSNet 在所有 SOTA 方法中均取得优异成绩，并且证明了该学习范式在单一模型中处理多种癌种的有效性和泛化能力。UMPSNet 的代码已公开于 https://github.com/binging512/UMPSNet。
引用
@article{arxiv.2501.07016,
title = {A Multi-Modal Deep Learning Framework for Pan-Cancer Prognosis},
author = {Binyu Zhang and Shichao Li and Junpeng Jian and Zhu Meng and Limei Guo and Zhicheng Zhao},
journal= {arXiv preprint arXiv:2501.07016},
year = {2025}
}