用于 LLM 驱动神经网络结构搜索的结构化渐进知识激活
机器学习
2026-05-08 v2 人工智能
摘要
本文聚焦于神经网络结构搜索（NAS）中的一个关键挑战：在高昂评估成本下整合既有的建筑知识同时探索新的设计。大型语言模型（LLM）是 NAS 的有前景的助手，因为它们可以将丰富的建筑和编码先验翻译为可执行的代码编辑。然而，实际情况下，看似局部的修订常常会传播为非局部的行为和性能变化，因为单个编辑可能无意中捆绑多个相互作用的功能因子，我们将这种现象称为功能缠结。为使 LLM 知识在此类缠结条件下可用，我们提出结构化渐进知识激活（SPARK），通过显式选择要修改的功能因子并以该因子为条件来激活相关先验。这种因子条件编辑减少了缠结的副作用，产生更有针对性、可靠的结构修改。在 CLRS-DFS 上的实验表明，SPARK 实现了 28.1 倍的样本效率加速，并在 OOD 准确率上实现了 22.9% 的相对提升。
引用
@article{arxiv.2605.04057,
title = {Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search},
author = {Zhen Liu and Yuhan Liu and Jinjun Wang and Wei Song and Jianyi Liu and Jingwen Fu},
journal= {arXiv preprint arXiv:2605.04057},
year = {2026}
}