基于可解释多模态深度学习的泛癌整合组织学-基因组学分析
计算机视觉与模式识别
2021-08-06 v1 人工智能
基因组学
定量方法
组织与器官
摘要
基于深度学习的计算病理学这一迅速兴起的领域，已展现出从组织学全切片图像中开发客观预后模型的潜力。然而，大多数预后模型要么仅基于组织学，要么仅基于基因组学，并未解决如何整合组织学与基因组学以开发联合图像-组学预后模型的问题。此外，从这些模型中识别支配此类预后的可解释形态学与分子描述符也备受关注。我们使用多模态深度学习整合了来自 14 种主要癌症类型、5,720 名患者的吉像素全切片病理图像、RNA-seq 丰度、拷贝数变异和突变数据。我们的可解释、弱监督多模态深度学习算法能够融合这些异质模态以预测结局，并通过多模态可解释性从这些模态中发现与不良和良好结局相印证的特征。我们将我们的模型与仅在组织学切片和分子谱上训练的单模态深度学习模型进行比较，并在 14 种癌症中的 9 种上展示了风险分层性能的提升。此外，我们分析了跨所有癌症类型负责预后预测的形貌与分子标记。所有分析数据，包括 14 种癌症类型在疾病和患者层面的形态学与分子预后关联，均呈现在一个交互式开放获取数据库 (http://pancancer.mahmoodlab.org) 中，以便进一步探索和预后生物标志物发现。为验证这些模型解释具有预后意义，我们进一步分析了 WSI 中高注意力形态区域，表明在研究的 14 种癌症中的 9 种里，肿瘤浸润淋巴细胞存在与良好癌症预后相印证。
引用
@article{arxiv.2108.02278,
title = {Pan-Cancer Integrative Histology-Genomic Analysis via Interpretable Multimodal Deep Learning},
author = {Richard J. Chen and Ming Y. Lu and Drew F. K. Williamson and Tiffany Y. Chen and Jana Lipkova and Muhammad Shaban and Maha Shady and Mane Williams and Bumjin Joo and Zahra Noor and Faisal Mahmood},
journal= {arXiv preprint arXiv:2108.02278},
year = {2021}
}
备注
Demo: http://pancancer.mahmoodlab.org