PanFoMa: 一种轻量级基础模型与泛癌单细胞基准测试
基因组学
2025-12-04 v1 人工智能
计算机视觉与模式识别
摘要
单细胞 RNA 测序（scRNA-seq）对于解码肿瘤异质性至关重要。然而，泛癌研究仍面临两个关键挑战：学习具有判别力和高效的单细胞表征，以及建立全面的评估基准。在本文中，我们提出 PanFoMa，一种轻量级混合神经网络，结合 Transformer 和状态空间模型的优势，在性能与效率之间取得平衡。PanFoMa 由一个前端局部上下文编码器组成，采用共享自注意力层来捕获复杂且与顺序无关的基因相互作用；以及一个后端全局序列特征解码器，利用线性时间状态空间模型高效整合全局上下文。这种模块化设计在保留 Transformer 表达能力的同时，利用 Mamba 的可扩展性来实现转录组建模，有效捕获局部和全局调控信号。为了实现稳健的评估，我们还构建了一个大规模的泛癌单细胞基准 PanFoMaBench，涵盖 33 个癌症亚型的超过 350 万个高质量细胞，经过严格的预处理流程筛选。实验结果表明，PanFoMa 在我们的泛癌基准测试上优于最先进模型（+4.0%），并在多个公开任务上表现优异，包括细胞类型注释（+7.4%）、批次整合（+4.0%）和多组学整合（+3.1%）。代码可在 https://github.com/Xiaoshui-Huang/PanFoMa 获取。
引用
@article{arxiv.2512.03111,
title = {PanFoMa: A Lightweight Foundation Model and Benchmark for Pan-Cancer},
author = {Xiaoshui Huang and Tianlin Zhu and Yifan Zuo and Xue Xia and Zonghan Wu and Jiebin Yan and Dingli Hua and Zongyi Xu and Yuming Fang and Jian Zhang},
journal= {arXiv preprint arXiv:2512.03111},
year = {2025}
}
备注
Accepted by AAAI 2026