基于多模态跨任务交互的全切片病理图像生存分析
图像与视频处理
2024-06-26 v1 计算机视觉与模式识别
摘要
生存预测运用了病理图像和基因组资料，正在癌症分析和预后中日益重要。尽管取得了显著进展，但精确的生存分析仍面临两个主要挑战：(1) 全切片组织块图像(WSI)中包含的大量像素 complicate 了病理图像的处理，难以生成对肿瘤微环境(TME)的有效表征。(2) 现有的多模态方法通常依赖对齐策略来整合互补信息，这可能因病理学与基因组资料之间的内在异质性而导致信息丢失。本文提出了一种多模态跨任务交互(MCTI)框架，以探索亚型分类任务与生存分析任务之间的内在相关性。具体而言，为了捕捉WSI中与TME相关的特征，我们利用亚型分类任务来挖掘肿瘤区域。同时，应用多头注意力机制进行基因组特征提取，适应性地对基因进行分组，以获得与任务相关的基因嵌入。对于病理图像和基因组数据的联合表征，我们进一步引入了基于Transport-Guided Attention(TGA)模块，该模块运用最优传输理论来建模亚型分类任务与生存分析任务之间的相关性，有效地传递潜在信息。广泛的实验表明，我们的方法优于三大公开基准上的最先进框架。
引用
@article{arxiv.2406.17225,
title = {Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images},
author = {Songhan Jiang and Zhengyu Gan and Linghan Cai and Yifeng Wang and Yongbing Zhang},
journal= {arXiv preprint arXiv:2406.17225},
year = {2024}
}