MGCT：基于互引导跨模态Transformer整合组织病理与基因组特征用于生存结局预测
计算机视觉与模式识别
2023-11-21 v1 人工智能
摘要
基于深度学习的计算病理学这一快速发展的领域，在利用全切片图像（WSIs）客观预测癌症患者预后方面已展现出有前景的结果。然而，大多数预后方法目前仅限于组织病理学或基因组学单独使用，这不可避免地降低了其准确预测患者预后的潜力。而整合WSIs与基因组特征面临三大主要挑战：（1）可达150,000×150,000像素量级的十亿像素WSIs的极大异质性；（2）组织病理学图像与基因组分子数据之间缺乏空间对应关系；（3）现有的早期、晚期与中间多模态特征融合策略难以捕捉WSIs与基因组学之间的显式交互。为改善这些问题，我们提出互引导跨模态Transformer（MGCT），一种弱监督的、基于注意力的多模态学习框架，能够结合组织学特征与基因组特征来建模肿瘤微环境中的基因型-表型交互。为验证MGCT的有效性，我们使用来自癌症基因组图谱（TCGA）的五种不同癌症类型近3,600张十亿像素WSIs进行实验。广泛的实验结果一致强调MGCT优于最先进（SOTA）方法。
引用
@article{arxiv.2311.11659,
title = {MGCT: Mutual-Guided Cross-Modality Transformer for Survival Outcome Prediction using Integrative Histopathology-Genomic Features},
author = {Mingxin Liu and Yunzan Liu and Hui Cui and Chunquan Li and Jiquan Ma},
journal= {arXiv preprint arXiv:2311.11659},
year = {2023}
}
备注
7 pages, 4 figures, accepted by 2023 IEEE International Conference on Bioinformatics and Biomedicine (BIBM 2023)