通过离群值移除实现快速且低成本的基因组基础模型
机器学习
2026-04-16 v2 人工智能
摘要
为了应对基因组建模中计算资源稀缺的挑战，我们引入了 GERM，一种具有强压缩性能和快速适应能力的基因组基础模型。GERM 通过消除阻碍低秩适配和训练后量化的离群值，改进了 DNABERT-2 等模型，从而提升了效率和鲁棒性。我们用受联想记忆模型启发的无离群值机制替换了原生注意力层。通过在预训练和微调期间移除离群值，该方法在可接受的损失范围内加速了适配，降低了计算成本，并增强了量化鲁棒性。此外，我们提出了 GERM-T，这是一种在无离群值框架内采用小步持续学习的策略，利用原始检查点来避免从头开始重新训练。实验表明，GERM 在基线模型的基础上将微调性能提升了 37.98%，量化性能提升了 64.34%。它还将平均峰度降低了 92.14%，最大无穷范数降低了 82.77%。与领先方法相比，GERM 始终提供卓越的性能，为资源受限环境下的基因组建模提供了实用的解决方案。代码可在 https://github.com/MAGICS-LAB/GERM 获取。
引用
@article{arxiv.2505.00598,
title = {Fast and Low-Cost Genomic Foundation Models via Outlier Removal},
author = {Haozheng Luo and Chenghao Qiu and Maojiang Su and Zhihan Zhou and Zoe Mehta and Guo Ye and Jerry Yao-Chieh Hu and Han Liu},
journal= {arXiv preprint arXiv:2505.00598},
year = {2026}
}
备注
International Conference on Machine Learning (ICML) 2025