基于全切片图像和不完全配对基因组的可解释多模态癌症原型化
计算机视觉与模式识别
2025-12-01 v1
摘要
整合组织学和基因组数据的多模态方法对于精密肿瘤学具有巨大潜力。然而，表型和表型异质性限制了单模态表征的质量，阻碍了有效的跨模态集成。此外，大多数现有方法忽视了临床场景中基因组可能部分缺失或完全不可用的情况。我们提出一种灵活的多模态原型框架，用于将全切片图像与不完整基因组数据集成以实现精密肿瘤学。我们的方法包含四个关键组件：1）基于文本提示和原型级加权的生物学原型化；2）通过样本级和分布级对齐实现多视图对齐；3）二分图融合以捕获共享和模态特定信息进行多模态融合；4）语义基因组插值处理缺失数据。大量实验表明，所提方法在多个下游任务上均显著优于其他最先进方法。代码已公开于https://github.com/helenypzhang/Interpretable-Multimodal-Prototyping。
引用
@article{arxiv.2511.21937,
title = {Interpretable Multimodal Cancer Prototyping with Whole Slide Images and Incompletely Paired Genomics},
author = {Yupei Zhang and Yating Huang and Wanming Hu and Lequan Yu and Hujun Yin and Chao Li},
journal= {arXiv preprint arXiv:2511.21937},
year = {2025}
}