超越模型库检索：编织知识以掌握细粒度神经网络设计
机器学习
2026-02-13 v2 人工智能
数据库
摘要
为新任务设计高性能神经网络需要在优化质量与搜索效率之间取得平衡。当前方法未能实现这种平衡：神经架构搜索计算成本高昂，而模型检索通常产生次优的静态检查点。为了解决这一困境，我们将细粒度架构修改带来的性能增益建模为编辑效应证据，并从先验任务中构建证据图。通过构建一个检索增强的模型精炼框架，我们提出的M-DESIGN动态地编织历史证据以发现接近最优的修改路径。M-DESIGN具有一个自适应检索机制，能够快速校准来自不同来源的编辑效应证据的演化迁移性。为了处理分布外偏移，我们引入了预测性任务规划器，通过多跳证据外推增益，从而减少对详尽存储库的依赖。基于我们包含22个数据集上67,760个图神经网络的模型知识库，大量实验表明，M-DESIGN始终优于基线方法，在严格预算下，33个案例中有26个达到了搜索空间最佳性能。
引用
@article{arxiv.2507.15336,
title = {Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design},
author = {Jialiang Wang and Hanmo Liu and Shimin Di and Zhili Wang and Jiachuan Wang and Lei Chen and Xiaofang Zhou},
journal= {arXiv preprint arXiv:2507.15336},
year = {2026}
}
备注
Title changed from "Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design" to "Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design"