多模态组织病理的生成式基础模型
计算机视觉与模式识别
2026-04-07 v1 人工智能
摘要
准确诊断和治疗复杂疾病需要整合组织学、分子和临床数据，但实际操作中由于组织来源稀缺、检测成本高以及工作流程限制，这些模态数据常常不完整。现有的计算方法试图从可用数据中对缺失的模态进行插值，但依赖于在狭窄的单一来源-目标对上训练的任务特定模型，限制了其可泛性。本文引入了 MuPD（Multimodal Pathology Diffusion），一种通过解耦交叉模态注意力的扩散变换器将 H&E 染色组织学、分子 RNA 轮廓和临床文本嵌入共享潜在空间的生成式基础模型。该模型在 1000 万组织图像块、160 万文本-组织配对和 1080 万 RNA-组织配对（涵盖34种人器器）上预训练，支持多种跨模态合成任务，无需或最小化任务特定微调。对于文本条件和图像到图像生成，MuPD合成组织忠实的组织结构，FID 分数降低50%，通过合成数据增强提高了少样本分类准确率最高可达47%。对于 RNA 条件组织生成，MuPD相对于下一最佳方法将 FID 降低23%，并在五种癌症类型中保持细胞类型分布。作为虚拟染色剂，MuPD将 H&E 图像翻译为免疫组织化学和多倍免疫荧光，平均标记相关性提高37%。这些结果表明，一个在异构组织病理模态上预训练的单一统一生成模型可显著优于专用方法，为多模态组织病理提供可扩展的计算框架。
引用
@article{arxiv.2604.03635,
title = {A Generative Foundation Model for Multimodal Histopathology},
author = {Jinxi Xiang and Mingjie Li and Siyu Hou and Yijiang Chen and Xiangde Luo and Yuanfeng Ji and Xiang Zhou and Ehsan Adeli and Akshay Chaudhari and Curtis P. Langlotz and Kilian M. Pohl and Ruijiang Li},
journal= {arXiv preprint arXiv:2604.03635},
year = {2026}
}
备注
33 pages, 9 figures