DNABERT-S：基于物种感知 DNA 嵌入的物种差异化 pioneering 研究
基因组学
2024-10-23 v3 人工智能
计算工程、金融与科学
计算与语言
摘要
我们介绍DNABERT-S，这是一个针对基因组模型，开发物种感知嵌入，以在嵌入空间中自然聚类和隔离不同物种的 DNA 序列。从基因组序列（即 DNA 和 RNA）中区分物种对于识别尚未被充分阐述的许多真实物种至关重要且具有挑战性，因为这些物种缺乏已知基因组作为参考。因此，采用嵌入方法以无监督方式区分物种。DNABERT-S 基于预训练的基因组基础模型DNABERT-2构建。为鼓励对错误的长读 DNA 序列获得有效嵌入，我们引入了Manifold Instance Mixup (MI-Mix)，这是一种在随机选取的层上混合 DNA 序列隐藏表示的对比目标，并训练模型在输出层识别和区分这些混合比例。我们进一步采用所提出的课程对比学习 (CLR) 策略进行增强。经实验表明，DNABERT-S 在 23 个多样化数据集上表现出色，尤其在标签稀缺的现实场景中效果显著。例如，它从混合未标记基因组序列中识别的物种数目是双倍，物种聚类的调整 Rand 指数 (ARI) 提升了两倍，在仅用 2-shot 训练的情况下，DNABERT-S 在 10-shot 物种分类中超越了顶级基线的性能。模型、代码和数据均已公开于 \url{https://github.com/MAGICS-LAB/DNABERT_S}。
引用
@article{arxiv.2402.08777,
title = {DNABERT-S: Pioneering Species Differentiation with Species-Aware DNA Embeddings},
author = {Zhihan Zhou and Weimin Wu and Harrison Ho and Jiayi Wang and Lizhen Shi and Ramana V Davuluri and Zhong Wang and Han Liu},
journal= {arXiv preprint arXiv:2402.08777},
year = {2024}
}