scHyena：用于脑全长度单细 RNA 测序分析的基础模型
机器学习
2023-10-05 v1 人工智能
基因组学
定量方法
摘要
单细 RNA 测序（scRNA-seq）在揭示复杂组织内精细的细胞多样性方面取得了显著进展。这在大脑中尤为关键，其呈现出的细胞类型多样性大于其他组织类型，有助于在各种细胞背景下更深入理解脑功能。然而，由于源自 dropout 事件的固有测量噪声以及对广泛基因表达信息的有限利用，分析 scRNA-seq 数据仍具挑战。本工作中，我们引入 scHyena，一种旨在应对这些挑战并提升脑内 scRNA-seq 分析准确性的基础模型。具体而言，受近期 Hyena 算子启发，我们设计了一种称为单细 Hyena（scHyena）的新型 Transformer 架构，其配备线性适配层、基于基因嵌入的位置编码以及双向 Hyena 算子。这使我们能够处理全长度 scRNA-seq 数据而不丢失原始数据的任何信息。特别地，我们的模型通过使用全长度 scRNA-seq 数据预训练 scHyena 来学习细胞和基因的可泛化特征。我们在下游任务（包括细胞类型分类和 scRNA-seq 填补）上展示了 scHyena 优于其他基准方法的性能。
引用
@article{arxiv.2310.02713,
title = {scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain},
author = {Gyutaek Oh and Baekgyu Choi and Inkyung Jung and Jong Chul Ye},
journal= {arXiv preprint arXiv:2310.02713},
year = {2023}
}
备注
21 pages, 16 figures