CoLLM-NAS：用于高效知识引导神经架构搜索的协作大语言模型
人工智能
2026-05-19 v2 计算机视觉与模式识别
机器学习
摘要
大语言模型 (LLMs) 与神经架构搜索 (NAS) 的结合为自动化神经架构设计带来了新的可能性。然而，现有大多数方法面临关键限制，包括架构无效性、计算效率低下以及性能不如传统 NAS。在本工作中，我们提出了协作 LLM 驱动的 NAS (CoLLM-NAS)，这是一个由两个互补 LLM 驱动知识引导搜索的两阶段 NAS 框架。具体而言，我们提出了一个有状态的 Navigator LLM 来引导搜索方向，一个无状态的 Generator LLM 来合成高质量候选者，以及一个 Coordinator 模块来协调 LLM 间的通信并管理评估过程。CoLLM-NAS 通过将 LLMs 对结构化神经架构的固有知识与来自迭代反馈和历史轨迹的渐进知识相结合，高效地引导搜索过程。在 ImageNet 和 NAS-Bench-201 上的实验结果表明，CoLLM-NAS 超越了现有的 NAS 方法和传统搜索算法，取得了新的 state-of-the-art 结果，同时将搜索成本显著降低了 4--10 倍。此外，CoLLM-NAS 在不同的搜索空间（例如，MobileNet、ShuffleNet 和 AutoFormer）中持续提升了各种两阶段 NAS 方法（例如，OFA、SPOS 和 AutoFormer）的性能和效率，证明了其出色的泛化能力。
引用
@article{arxiv.2509.26037,
title = {CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search},
author = {Zhe Li and Zhiwei Lin and Yongtao Wang},
journal= {arXiv preprint arXiv:2509.26037},
year = {2026}
}
备注
Accepted as Oral at CVPR 2026 Workshop on Neural Architecture Search (NAS)