基于多任务关联学习的多模态融合框架用于癌症预后预测
机器学习
2022-02-28 v1 人工智能
计算机视觉与模式识别
摘要
来自组织病理图像的形态学属性与来自基因组数据的分子谱是驱动癌症诊断、预后和治疗的重要信息。通过整合这些异构但互补的数据，许多多模态方法被提出以研究癌症的复杂机制，且其中大多数取得了优于以往单模态方法或与之相当的结果。然而，这些多模态方法局限于单一任务（例如生存分析或分级分类），因而忽略了不同任务之间的相关性。在本研究中，我们提出一种基于多任务关联学习的多模态融合框架（MultiCoFusion）用于生存分析和癌症分级分类，它结合了多模态与多任务的威力。具体而言，使用预训练的 ResNet-152 和稀疏图卷积网络（SGCN）分别学习组织病理图像和 mRNA 表达数据的表示。然后这些表示由一个全连接神经网络（FCNN）融合，该网络也是多任务共享网络。最后，生存分析和癌症分级分类的结果同时输出。该框架通过交替方案训练。我们使用来自 The Cancer Genome Atlas (TCGA) 的胶质瘤数据集系统评估了我们的框架。结果表明 MultiCoFusion 比传统特征提取方法学到更好的表示。借助多任务交替学习，即便简单的多模态拼接也能取得优于其他深度学习和传统方法的性能。多任务学习能提升多个任务而非仅其中一个的性能，且在单模态和多模态数据中均有效。
引用
@article{arxiv.2201.10353,
title = {A Multi-modal Fusion Framework Based on Multi-task Correlation Learning for Cancer Prognosis Prediction},
author = {Kaiwen Tan and Weixian Huang and Xiaofeng Liu and Jinlong Hu and Shoubin Dong},
journal= {arXiv preprint arXiv:2201.10353},
year = {2022}
}