基于潜变量差分条件变分自编码器的鲁棒多模态生存预测
计算机视觉与模式识别
2025-03-19 v2
摘要
病理图像与基因组数据的整合分析在人类癌症生存预测中受到越来越多的关注。然而，现有研究通常假设所有模态都是完整的。实际上，采集基因组数据的成本较高，这有时导致测试样本中基因组数据不可用。应对这种不完整性的常用方法是从病理图像生成基因组表示。然而，该策略仍面临以下两个挑战：（1）千兆像素的全切片图像（WSI）体量巨大，因此难以进行表示；（2）在统一的生成框架中生成具有多样功能类别的基因组嵌入物存在困难。为解决上述挑战，我们提出了一种条件潜变量差分变分自编码器（LD-CVAE），用于鲁棒的多模态生存预测，即使在基因组数据缺失的情况下也能工作。具体而言，我们提出了一种变分信息瓶颈Transformer（VIB-Trans）模块，用于从千兆像素WSI中学习压缩的病理表示。为了生成不同功能的基因组特征，我们开发了一种新颖的潜变量差分变分自编码器（LD-VAE），用于学习具有多样功能的基因组嵌入物的共同后验和特定后验。最后，我们使用专家乘积技术将基因组共同后验和图像后验整合，用于LD-CVAE中的联合潜变量分布估计。我们在五个不同的癌症数据集上测试了方法的有效性，实验结果证明了其在完整模态和缺失模态场景下的优越性。
引用
@article{arxiv.2503.09496,
title = {Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder},
author = {Junjie Zhou and Jiao Tang and Yingli Zuo and Peng Wan and Daoqiang Zhang and Wei Shao},
journal= {arXiv preprint arXiv:2503.09496},
year = {2025}
}
备注
Accepted by CVPR2025