Helix-mRNA：面向全序列mRNA疗法的混合基础模型
基因组学
2025-03-12 v2 人工智能
摘要
基于mRNA的疫苗已成为制药行业的主要关注点。mRNA的编码序列以及非翻译区 (UTR) 会强烈影响翻译效率、稳定性、降解及其他共同决定疫苗有效性的因素。然而，针对这些特性优化mRNA序列仍是一项复杂的挑战。现有的深度学习模型通常仅关注编码区优化，而忽略了UTR。我们提出了Helix-mRNA，一种基于结构化状态空间与注意力机制的混合模型，以应对这些挑战。除了首次预训练外，第二阶段预训练使我们能够利用高质量数据对模型进行专门化。我们采用带有密码子分离的mRNA序列单核苷酸分词，确保原始mRNA序列中的先验生物学和结构信息不会丢失。我们的模型Helix-mRNA在分析UTR和编码区特性方面优于现有方法。它能够处理比现有方法长6倍的序列，同时仅使用现有基础模型10%的参数量。其预测能力可扩展至所有mRNA区域。我们已将该模型 (https://github.com/helicalAI/helical) 及模型权重 (https://huggingface.co/helical-ai/helix-mRNA) 开源。
引用
@article{arxiv.2502.13785,
title = {Helix-mRNA: A Hybrid Foundation Model For Full Sequence mRNA Therapeutics},
author = {Matthew Wood and Mathieu Klop and Maxime Allard},
journal= {arXiv preprint arXiv:2502.13785},
year = {2025}
}
备注
8 pages, 3 figures, 3 tables