单细胞转录组学的语言增强表示学习
机器学习
2025-06-05 v4 人工智能
摘要
单细胞RNA测序（scRNA-seq）提供了对细胞异质性的详细洞察。最近的进展利用单细胞大语言模型（scLLM）进行有效的表示学习。这些模型仅关注转录组数据，忽略了来自文本描述的互补生物学知识。为了克服这一局限性，我们提出了scMMGPT，一个用于单细胞转录组学中语言增强表示学习的多模态框架。与现有方法不同，scMMGPT采用鲁棒的细胞表示提取，保留定量基因表达数据，并引入了一种创新的两阶段预训练策略，将判别精度与生成灵活性相结合。大量实验表明，scMMGPT在关键下游任务（包括细胞注释和聚类）上显著优于单模态和多模态基线，并在分布外场景中表现出优越的泛化能力。
引用
@article{arxiv.2503.09427,
title = {Language-Enhanced Representation Learning for Single-Cell Transcriptomics},
author = {Yaorui Shi and Jiaqi Yang and Changhao Nai and Sihang Li and Junfeng Fang and Xiang Wang and Zhiyuan Liu and Yang Zhang},
journal= {arXiv preprint arXiv:2503.09427},
year = {2025}
}