VitaminP：跨模态学习实现从常规组织学全细胞分割
计算机视觉与模式识别
2026-04-28 v1
摘要
精确的全细胞和核分割是精密病理学和空间组学的关键，但常规 hematoxylin and eosin（H&E）染色提供的细胞质对比度有限，限制了分析仅能聚焦于核部。多染色免疫荧光（mIF）可实现精确的全细胞描绘，但受制于成本和可及性。我们提出 VitaminP，一个跨模态学习框架，使其能够从 H&E 图像实现全细胞分割。通过学习从成对 H&E-mIF 数据中迁移，VitaminP 将 mIF 中的分子边界信息传递到 H&E 上，以克服细胞质对比度不足，建立跨模态监督作为恢复缺失生物结构的通用策略。我们在 14 个公开数据集上训练 VitaminP，覆盖 34 种癌症类型，累计超过 700 万实例，整合公开标签与本研究生成的大量注释，形成其中最大的分割资源之一。VitaminP 在四种最新方法上均取得优异性能，并能推广至未见数据集，包括我们内部覆盖 24 种罕见癌症类型的数据集。我们进一步开发了 VitaminPScope，一个开源平台，提供可扩展推理接口，促进广泛采用。
引用
@article{arxiv.2604.23799,
title = {VitaminP: cross-modal learning enables whole-cell segmentation from routine histology},
author = {Yasin Shokrollahi and Karina B. Pinao Gonzales and Elizve N. Barrientos Toro and Paul Acosta and Patient Mosaic Team and Pingjun Chen and Yinyin Yuan and Xiaoxi Pan},
journal= {arXiv preprint arXiv:2604.23799},
year = {2026}
}
备注
44 pages, 10 figures. Code and models available