构建开放式 NAS：基于 LLM 的半自动设计知识结构化以提高神经网络架构搜索效率
计算机视觉与模式识别
2026-05-20 v1
摘要
当前神经网络搜索 (NAS) 方法常受限于预定义的限制性搜索空间。虽然近期大语言模型 (LLM) 辅助 NAS 方法实现了开放式搜索空间，但往往因偏见或低质量设计想法而导致探索效率低下。为此，我们提出半自动结构化模型设计知识以引导搜索进程的方法。我们的 approach 首先定义架构属性的高层结构模板。LLM 通过分析论文填充该模板，从而构建包含结构化设计知识的丰富且多样化的搜索空间。为高效探索此广阔空间，我们引入 FairNAD，通过多类型突变实现广泛探索：包括公平想法抽样突变、Pareto 意识突变、LLM 驱动的迭代突变以及细粒度反馈循环。我们在 CIFAR-10、CIFAR-100 和 ImageNet16-120 上展示了 FairNAD 在发现高性能架构方面的有效性，分别比当前最先进方法提高了 0.84、2.17 和 2.35 分。
引用
@article{arxiv.2605.19247,
title = {Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search},
author = {Yuiko Sakuma and Masakazu Yoshimura and Marcel Gröpl and Zitang Sun and Junji Otsuka and Atsushi Irie and Takeshi Ohashi},
journal= {arXiv preprint arXiv:2605.19247},
year = {2026}
}
备注
42 pages