用于生存结局预测的病理与基因组多模态Transformer
计算机视觉与模式识别
2023-07-25 v1 人工智能
摘要
生存结局评估具有挑战性,并且本质上与癌症中的多种临床因素(例如影像与基因组生物标志物)相关。实现多模态分析有望揭示患者结局的新预测模式。在本研究中,我们提出一种多模态Transformer(PathOmics),将病理与基因组信息整合到结肠相关癌症的生存预测中。我们强调无监督预训练以捕获十亿像素全切片图像(WSIs)中组织微环境与广泛基因组数据(例如mRNA序列、拷贝数变异和甲基化)之间的内在交互。在预训练中的多模态知识聚合之后,我们的任务特定模型微调可扩展数据效用范围,适用于多模态与单模态数据(例如仅图像或仅基因组)。我们在TCGA结肠与直肠癌队列上评估我们的方法,表明所提方法具有竞争力并优于最先进的研究。最后,我们的方法期望利用有限数量的微调样本实现数据高效的生存结局预测分析。代码见 https://github.com/Cassie07/PathOmics。
引用
@article{arxiv.2307.11952,
title = {Pathology-and-genomics Multimodal Transformer for Survival Outcome Prediction},
author = {Kexin Ding and Mu Zhou and Dimitris N. Metaxas and Shaoting Zhang},
journal= {arXiv preprint arXiv:2307.11952},
year = {2023}
}
备注
Accepted to MICCAI2023 (Top14%)