HybriDNA：一种混合 Transformer-Mamba2 长程 DNA 语言模型

自然语言处理和大型语言模型的进展激发了人们对 DNA 建模日益浓厚的兴趣，DNA 常被称为“生命之语”。然而，DNA 建模面临独特的挑战。首先，它要求能够处理超长 DNA 序列同时保持单核苷酸分辨率，因为单个核苷酸在 DNA 功能中起着至关重要的作用。其次，在该领域取得成功需要在生成和理解任务上均表现出色：生成任务具有治疗和工业应用的潜力，而理解任务则能为生物机制和疾病提供关键见解。为了应对这些挑战，我们提出了 HybriDNA，这是一种仅包含解码器的 DNA 语言模型，它融合了混合 Transformer-Mamba2 架构，将注意力机制与选择性状态空间模型的优势无缝结合。这种混合设计使 HybriDNA 能够以单核苷酸分辨率高效处理长度达 131kb 的 DNA 序列。HybriDNA 在从 BEND、GUE 和 LRB 基准数据集中整理的 33 个 DNA 理解数据集上取得了最先进的性能，并展示了生成具有所需属性的合成顺式调控元件 的卓越能力。此外，我们表明 HybriDNA 遵循预期的缩放定律，随着模型规模从 300M 扩展到 3B 和 7B 参数，其性能持续提升。这些发现凸显了 HybriDNA 的多功能性及其推动 DNA 研究和应用的潜力，为理解和工程化“生命之语”的创新铺平了道路。