xTrimoGene：一种高效且可扩展的单细胞 RNA 测序数据表示学习器
机器学习
2024-02-27 v2 人工智能
基因组学
摘要
高通量测序技术的进步使得在单细胞水平测量基因表达取得显著进展。公开可用的单细胞 RNA-seq（scRNA-seq）数据量已超人类 5000 万条记录，每条记录测量 20,000 个基因。这凸显了需要无监督表示学习来充分摄取这些数据，然而经典 transformer 架构在此类数据的训练上在计算与内存方面均难以承受。为应对该挑战，我们提出一种用于 scRNA-seq 数据的非对称编码器-解码器 transformer，称为 xTrimoGene（或简称 xTrimoGene），其利用数据的稀疏特性来扩展预训练规模。xTrimoGene 这种可扩展设计相比经典 transformer 将 FLOPs 降低了一到两个数量级，同时保持高准确率，使我们能够在当今最大的 scRNA-seq 数据集上训练最大的 transformer 模型。我们的实验还表明，xTrimoGene 的性能随模型规模扩大而提升，并且在细胞类型注释、perturb-seq 效应预测与药物组合预测等多种下游任务上取得 SOTA 性能。xTrimoGene 模型现已作为服务开放使用，链接如下：https://api.biomap.com/xTrimoGene/apply。
引用
@article{arxiv.2311.15156,
title = {xTrimoGene: An Efficient and Scalable Representation Learner for Single-Cell RNA-Seq Data},
author = {Jing Gong and Minsheng Hao and Xingyi Cheng and Xin Zeng and Chiming Liu and Jianzhu Ma and Xuegong Zhang and Taifeng Wang and Le Song},
journal= {arXiv preprint arXiv:2311.15156},
year = {2024}
}
备注
Accepted by NeurIPS 2023