Gene42：具有密集注意力机制的长程基因组基础模型
机器学习
2025-03-26 v1 人工智能
计算与语言
基因组学
摘要
我们提出了 Gene42，一个新型基因组基础模型（GFM）家族，旨在以单核苷酸分辨率管理长达 192,000 个碱基对（bp）的上下文长度。Gene42 模型采用仅解码器架构（LLaMA 风格），并使用密集自注意力机制。模型最初在 4,096 bp 的固定长度序列上进行训练，随后通过持续预训练将上下文长度扩展至 192,000 bp。这种迭代式扩展使得大规模基因组数据的全面处理以及人类基因组中复杂模式和依赖关系的捕获成为可能。Gene42 是首个能够在基因组学中处理如此广泛长上下文长度的密集注意力模型，挑战了通常依赖卷积算子等机制的状态空间模型。我们的预训练模型表现出极低的困惑度和高重建准确率，突显了其强大的基因组数据建模能力。在多种基因组基准测试上的广泛实验展示了在多个任务上的最先进性能，包括生物类型分类、调控区域识别、染色质谱型预测、变异致病性预测和物种分类。模型已在 huggingface.co/inceptionai 上公开发布。
引用
@article{arxiv.2503.16565,
title = {Gene42: Long-Range Genomic Foundation Model With Dense Attention},
author = {Kirill Vishniakov and Boulbaba Ben Amor and Engin Tekin and Nancy A. ElNaker and Karthik Viswanathan and Aleksandr Medvedev and Aahan Singh and Maryam Nadeem and Mohammad Amaan Sayeed and Praveenkumar Kanithi and Tiago Magalhaes and Natalia Vassilieva and Dwarikanath Mahapatra and Marco Pimentel and and Shadab Khan},
journal= {arXiv preprint arXiv:2503.16565},
year = {2025}
}