论述 DNA 基础模型中卷积架构的重审
机器学习
2025-02-27 v1 人工智能
摘要
近年来，基于 Transformer 和状态空间模型（SSM）架构的方法被提出，推动了 DNA 语言模型的基础发展。然而，缺乏对这些近期方法与经典卷积网络（CNN）在基础模型基准测试中的比较，这引出了一个问题：CNN 是否真的被这些基于 Transformer 和 SSM 的方法超越？本文开发了一种简单但精心设计的基于 CNN 的方法，称为 ConvNova。ConvNova 识别并提出了三个有效设计：1）稀疏卷积，2）门控卷积，3）用于门控机制的双支路框架。通过大量实验，我们展示了 ConvNova 在多个基础模型基准测试中超过半数的任务，显著优于最新方法。例如，在组酶相关任务中，ConvNova 平均超过第二名方法高出 5.8%，同时通常使用更少的参数并实现更快的计算。此外，实验观察到的发现可能与生物学特征有关。这表明 CNN 在 Transformer 和 SSM 方面仍然是强大的竞争者。我们预计这一工作将激发对 CNN 在 DNA 基础模型中方法的重新关注。
引用
@article{arxiv.2502.18538,
title = {Revisiting Convolution Architecture in the Realm of DNA Foundation Models},
author = {Yu Bo and Weian Mao and Yanjun Shao and Weiqiang Bai and Peng Ye and Xinzhu Ma and Junbo Zhao and Hao Chen and Chunhua Shen},
journal= {arXiv preprint arXiv:2502.18538},
year = {2025}
}