BioArc：发现生物基础模型的最优神经网络架构
机器学习
2026-05-29 v3 人工智能
定量方法
摘要
基础模型已在自然语言处理(NLP)和计算机视觉(CV)等多个领域取得突破。虽然已有工作试图将通用AI领域的基础模型成功经验移植到生物领域，但现有研究仅仅是直接采用通用机器学习领域的现有基础模型架构，而不系统地考虑每种生物数据模态的独特物理化学和结构特性。这导致性能次优，因为这些被改造的架构难以捕捉生物数据中固有的长程依赖、稀疏信息以及复杂的底层“语法”。为此，我们提出BioArc——一个新颖的框架，旨在从直觉驱动的架构设计，转向为生物基础模型进行原则化、自动化架构发现。BioArc利用神经网络架构搜索(NAS)，系统地探索广阔的架构设计空间，在多个生物模态上评估各种架构，并严格分析架构、分词方法和训练策略之间的相互作用。该大规模分析识别出若干新型高性能架构，提炼出一套经验性设计原则，以指导未来模型开发。此外，为充分利用这套发现的原则化架构，我们提出并比较了几种架构预测方法，有效且高效地预测新生物任务的最优架构。总体而言，本工作提供了基础资源和原则化方法，为引导生物学中下一代任务特定模型和基础模型的创建提供了指导。
引用
@article{arxiv.2512.00283,
title = {BioArc: Discovering Optimal Neural Architectures for Biological Foundation Models},
author = {Yi Fang and Haoran Xu and Jiaxin Han and Sirui Ding and Yizhi Wang and Yue Wang and Xuan Wang},
journal= {arXiv preprint arXiv:2512.00283},
year = {2026}
}
备注
Accepted at the 43nd International Conference on Machine Learning (ICML 2026)