MIPHEI-ViT：基于 ViT 基础模型从 H&E 图像预测多plex 免疫荧光
摘要
组织病理学是癌症诊断的基石，常为每个患者获取 Hematoxylin and Eosin (H&E) 染色以可视化细胞形态和组织结构。另一方面，多plex 免疫荧光 (mIF) 启用更精确的细胞类型识别，但由于成本和物流限制尚未广泛采用。为填补这一差距，我们引入 MIPHEI (Multiplex Immunofluorescence Prediction from H&E Images)，是一个以 U-Net 为灵感的架构，利用 ViT 病理基础模型作为 encoder 来预测来自 H&E 图像的 mIF 信号。MIPHEI 目标是一个全面的标志物面板，涵盖核内内容、免疫系谱 (T 细胞、B 细胞、髓系)、腺癌、腱组织、血管和增殖。我们使用公开的 OrionCRC 数据集训练模型，该数据集包含来自结直肠癌组织的重新染色 H&E 和 mIF 图像，并在五个独立数据集上进行验证：HEMIT、PathoCell、IMMUcan、Lizard 和 PanNuke。在 OrionCRC 测试集上，MIPHEI 实现了从 H&E 图像alone 实现准确的细胞类型分类，Pan-CK、alpha-SMA、CD3e、CD20、CD68 的 F1 分别为 0.93、0.83、0.68、0.36、0.28，显著优于 state-of-the-art 基线和随机分类器。我们的结果表明，对于某些分子标志物，我们的模型捕捉了核形态在组织背景中的复杂关系，这些关系在 H&E 图像中可见，并由分子标志物定义特定细胞类型。MIPHEI 为在大规模 H&E 数据集上进行细胞类型感知分析提供了有前景的步骤，目的是探索空间细胞组织与患者结局之间的关系。
引用
@article{arxiv.2505.10294,
title = {MIPHEI-ViT: Multiplex Immunofluorescence Prediction from H&E Images using ViT Foundation Models},
author = {Guillaume Balezo and Roger Trullo and Albert Pla Planas and Etienne Decenciere and Thomas Walter},
journal= {arXiv preprint arXiv:2505.10294},
year = {2026}
}
备注
Accepted manuscript, 24 pages, 9 figures, 5 tables. Published in Computers in Biology and Medicine (DOI: https://doi.org/10.1016/j.compbiomed.2026.111564)