LLM-NAS：LLM 驱动的硬件感知神经网络架构搜索
机器学习
2025-12-08 v4
摘要
硬件感知神经网络架构搜索(HW-NAS)需要在设备约束下同时优化准确率和延迟。传统的基于超网络的方法需要每个数据集耗费数天的 GPU 资源。大语言模型(LLM)驱动的方法避免训练大型超网络，能够提供快速反馈，但我们注意到存在探索偏差：LLM 反复提出有限搜索空间内的神经网络设计，无法在整个搜索空间中发现不同延迟范围内的架构。为解决此问题，我们提出 LLM-NAS：一个 LLM 驱动的神经网络架构搜索，能够在较低的搜索成本下生成高准确率和低延迟的神经网络。我们提出的 LLM-NAS 包含三个关键组件：1) 基于复杂度的分区引擎，将搜索空间按复杂度划分以强制多样性并缓解探索偏差；2) LLM 驱动的架构提示共演化算子，其中 LLM 首先根据上一轮的结果更新设计启发式知识库，然后对 incorporating 该知识库的提示下的架构执行引导式演化算法。跨轮次的提示和设计相互改进，避免随机猜测，提高效率；3) 零成本预测器，以避免从零开始训练大量候选模型。在 HW-NAS-Bench 上进行的实验结果显示，LLM-NAS 在总体 HV、IGD 上均优于基线方法，且在类似准确率下延迟降低最高可达54%。同时，与传统超网络基线相比，搜索成本从数天降低到数分钟。
引用
@article{arxiv.2510.01472,
title = {LLM-NAS: LLM-driven Hardware-Aware Neural Architecture Search},
author = {Hengyi Zhu and Grace Li Zhang and Shaoyi Huang},
journal= {arXiv preprint arXiv:2510.01472},
year = {2025}
}