面向神经网络架构搜索的LLM工具论：代码矿工树转换
机器学习
2026-04-21 v1 人工智能
计算机视觉与模式识别
摘要
神经网络架构搜索（NAS）旨在自动发现高性能深层神经网络（DNN）架构。然而，传统算法驱动的NAS依赖于精心设计的搜索空间以确保可执行性，这限制了开放式的探索。近期基于大型语言模型（LLM）的编码式代理方法减少了手动设计，但当前LLM难以可靠生成复杂且有效的架构，其提议常常偏向于其训练数据中观察到的狭窄模式集合。为在可靠算法搜索与强大LLM帮助之间建立联系，我们提出LLMasTool，这是一种基于层次树的NAS框架，用于稳定和开放式模型演化。该方法自动从任意源代码中提取可重用模块，并将完整架构表示为层次树，通过可靠的树转换实现演化。在每一步演化中，粗粒度规划由一种利用贝叶斯建模提高探索效率的多样性引导算法控制，而LLM解决剩余的自由度，以确保有意义的演化轨迹和可执行的生成架构。通过这种表述，与完全代理式LLM方法不同，我们的方法探索超出LLM内在偏见的多样化方向。该方法在CIFAR-10、CIFAR-100和ImageNet16-120上的性能分别提高了0.69、1.83和2.68分，证明了其有效性。
引用
@article{arxiv.2604.16555,
title = {LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search},
author = {Masakazu Yoshimura and Zitang Sun and Yuiko Sakuma and Junji Otsuka and Atsushi Irie and Takeshi Ohashi},
journal= {arXiv preprint arXiv:2604.16555},
year = {2026}
}
备注
72 pages