FORESEE：面向癌症生存预测的多模态和多视角表征学习
计算机视觉与模式识别
2024-05-14 v1 机器学习
摘要
整合癌症患者的不同数据模态可以显著提高生存预测性能。然而，大多数现有方法忽略了在病理图像中同时利用不同尺度丰富语义特征的能力。在收集多模态数据和提取特征时，可能遇到模态内部缺失数据，导致多模态数据引入噪声。为此，本文提出一种新型端到端框架FORESEE，用于通过挖掘多模态信息来稳健预测患者生存。具体而言，交叉融合变换器有效利用了细胞水平、组织水平和肿瘤异质性水平的特征，通过交叉尺度特征交叉融合方法来关联预后，从而增强了病理图像特征表征的能力。其次，混合注意力编码器（HAE）使用去噪上下文注意力模块获取上下文关系特征和局部细节特征，HAE的通道注意力模块获取分子数据的全局特征。此外，为解决模态内部缺失信息的问题，我们提出一种非对称掩码三元组掩码自编码器，用于重建模态内部的丢失信息。大量实验表明，我们的方法在完整设置和缺失设置下的四个基准数据集上优于最先进的方法。
引用
@article{arxiv.2405.07702,
title = {FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival},
author = {Liangrui Pan and Yijun Peng and Yan Li and Yiyi Liang and Liwen Xu and Qingchun Liang and Shaoliang Peng},
journal= {arXiv preprint arXiv:2405.07702},
year = {2024}
}