从癌症组织病理学生成跨模态基因表达以改进多模态 AI 预测
计算机视觉与模式识别
2026-01-14 v4 人工智能
机器学习
摘要
新兴研究强调，基于人工智能的数字病理学与转录组学特征的多模态融合，可以改善癌症诊断（分级/分型）和预后（生存风险）预测。然而，这种直接融合在临床环境中并不实用，因为组织病理学仍是金标准，而转录组学检测在公共医疗中很少被要求。我们在两个公开可用的多模态数据集——癌症基因组图谱和临床蛋白质组肿瘤分析联盟——上进行了实验，涵盖了四个独立队列：胶质瘤-胶质母细胞瘤、肾癌、子宫癌和乳腺癌，并观察到当将合成的转录组数据与全切片图像（WSI）结合时，在分级和风险估计方面取得了显著的性能提升（p值<0.05）。同时，使用合成特征的预测结果在统计上与使用真实转录组数据获得的结果接近（p值>0.05），这在所有队列中表现一致。在此我们展示，通过我们基于扩散的跨模态生成式 AI 模型 PathGen，从数字组织病理学合成的基因表达能够以高准确度（最先进的性能）、确定性（通过共形覆盖保证）和可解释性（通过分布式共注意力图）联合预测癌症分级和患者生存风险。PathGen 代码已在 GitHub 上公开，供开放使用：https://github.com/Samiran-Dey/PathGen。
引用
@article{arxiv.2502.00568,
title = {Generating crossmodal gene expression from cancer histopathology improves multimodal AI predictions},
author = {Samiran Dey and Christopher R. S. Banerji and Partha Basuchowdhuri and Sanjoy K. Saha and Deepak Parashar and Tapabrata Chakraborti},
journal= {arXiv preprint arXiv:2502.00568},
year = {2026}
}