PAST：面向癌症组织病学和空间转录组的多模态单细胞基础模型
图像与视频处理
2025-08-08 v2 计算机视觉与模式识别
机器学习
摘要
虽然病理学基础模型已彻底改变癌症图像分析，但它们往往缺乏与单细胞分辨率分子数据的集成，限制了其在精密肿瘤学中的实用性。本文提出 PAST，一个覆盖多个肿瘤类型和组织背景的单细胞基础模型，基于2000万对组织病学图像和单细胞转录组进行训练。通过联合编码细胞形态学和基因表达，PAST学习到统一的跨模态表示，捕捉细胞水平的空间和分子异质性。该方法使能够准确预测单细胞基因表达、实现虚拟分子染色，并直接从常规病理切片中进行多模态生存分析。在各种癌症和下游任务中，PAST consistently 超越了现有方法，显示出稳健的可泛化性和可扩展性。我们的工作确立了病理学基础模型的新范式，为高分辨率空间组学、机制发现和精密癌症研究提供了一个多功能工具。
引用
@article{arxiv.2507.06417,
title = {Capsule-ConvKAN: A Hybrid Neural Approach to Medical Image Classification},
author = {Laura Pituková and Peter Sinčák and László József Kovács and Peng Wang},
journal= {arXiv preprint arXiv:2507.06417},
year = {2025}
}
备注
Preprint version. Accepted to IEEE SMC 2025